MiniCPM-MoE-8x2B — это модель генеративного языка на основе преобразователя, состоящая только из декодера. MiniCPM-MoE-8x2B использует архитектуру Mixture-of-Experts (MoE), которая имеет 8 экспертов на каждом уровне и активирует 2 из 8 экспертов для каждого токена. Это версия модели после настройки инструкции, но без других методов rlhf. Шаблон чата будет применен автоматически. 1. Вы также можете сделать вывод с помощью vLLM(>=0.4.1), который совместим с этим репозиторием и имеет гораздо более высокую пропускную способность вывода. 2. Точность веса модели в этом репозитории — bfloat16. Для других типов dtype требуется ручное преобразование. 3. Для получения более подробной информации обратитесь к нашему репозиторию на GitHub. 1. В качестве языковой модели MiniCPM-MoE-8x2B генерирует контент, обучаясь на огромном объеме текста. 2. Однако он не обладает способностью понимать или выражать личное мнение или оценочные суждения. 3. Любой контент, созданный MiniCPM-MoE-8x2B, не отражает точки зрения или позиции разработчиков модели. 4. Поэтому при использовании контента, созданного MiniCPM-MoE-8x2B, пользователи должны взять на себя полную ответственность за его оценку и проверку самостоятельно.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: openbmb
Теги: conversational, custom_code
Лайков: 46 | Загрузок: 2,412
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
