Конвертированная модель на основе кода fahadh4ilyas. Версия 2 имеет другой макет с разделением Wqkv. 2. Настоятельно рекомендуется обучить эту модель с помощью токенизатора dbrx-base-tokenizer (полностью совместимого): https://huggingface.co/LnL-AI/dbrx-base-tokenizer 1. 4-битный gptq/marlin: https://huggingface.co/LnL-AI/dbrx-base-converted-v2-4bit-gptq-marlin 2. 4-битный gptq/gptq: https://huggingface.co/LnL-AI/dbrx-base-converted-v2-4bit-gptq-gptq DBRX Base — это большая языковая модель, созданная с участием специалистов (MoE), обученная с нуля компанией Databricks. Мы выпускаем как DBRX Base, предварительно обученную базовую модель, так и DBRX Instruct, настроенную версию для взаимодействия в несколько ходов, под открытой лицензией. Это репозиторий базы DBRX. Инструкцию DBRX можно найти здесь. Полную информацию о моделях DBRX можно найти в нашем техническом блоге. DBRX — это модель большого языка (LLM), основанная только на декодере, которая была обучена с использованием прогнозирования следующего токена. Он использует мелкозернистую архитектуру смешанных экспертов (MoE) с общим числом параметров 132B, из которых 36B параметров активны на любом входе. Он был предварительно обучен на 12Т токенах текстовых и кодовых данных. По сравнению с другими открытыми моделями MoE, такими как Mixtral-8x7B и Grok-1, DBRX…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: LnL-AI
Теги: dbrx, custom_code, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 28
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
