Используя исходную версию, невозможно было загрузить модель в 4-битном или 8-битном формате, что приводило к ошибке нехватки памяти. Теперь это исправлено, поэтому люди с меньшим оборудованием также смогут запустить эту модель. DBRX Instruct — это большая языковая модель, состоящая из нескольких экспертов (MoE), обученная с нуля компанией Databricks. DBRX Instruct специализируется на взаимодействиях в несколько оборотов. Мы выпускаем как DBRX Instruct, так и DBRX Base, предварительно обученную базовую модель, лежащую в ее основе, под открытой лицензией. Это репозиторий для DBRX Instruct. Базу DBRX можно найти здесь. Полную информацию о моделях DBRX можно найти в нашем техническом блоге. DBRX — это модель большого языка (LLM), основанная только на декодере, которая была обучена с использованием прогнозирования следующего токена. Он использует мелкозернистую архитектуру смешанных экспертов (MoE) с общим числом параметров 132B, из которых 36B параметров активны на любом входе. Он был предварительно обучен на 12Т токенах текстовых и кодовых данных. По сравнению с другими открытыми моделями MoE, такими как Mixtral-8x7B и Grok-1, DBRX является более детальным, то есть использует большее количество более мелких экспертов. DBRX имеет 16 экспертов и выбирает 4, а Mixtral-8x7B и Grok-1 имеют 8 экспертов и выбирают 2. Это обеспечивает 65x…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: SinclairSchneider
Теги: dbrx, custom_code, text-generation-inference
Лайков: 9 | Загрузок: 24
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
