Модель большого языка Mistral-Nemo-Base-2407 (LLM) представляет собой предварительно обученную генеративную текстовую модель с 12B параметрами, обученную совместно Mistral AI и NVIDIA. Она значительно превосходит существующие модели меньшего или аналогичного размера. Более подробную информацию об этой модели можно найти в нашем блоге. — Выпущено по лицензии Apache 2 — Предварительно обученные и инструктированные версии — Обучены с контекстным окном 128 тыс. — Обучены на большом количестве многоязычных и кодовых данных — Встроенная замена Mistral 7B Mistral Nemo — модель-трансформер со следующими вариантами архитектуры: — Слои: 40 — Размер: 5120 — Размер головы: 128 — Скрытый размер: 14 436 — Активация Функция: SwiGLU — Количество головок: 32 — Количество kv-головок: 8 (GQA) — Размер словаря: 217 ~= 128k — Вращающиеся вложения (тета = 1M)** — неправильный вывод: см. здесь — трансформаторы: см. здесь — NeMo`: см. nvidia/Mistral-NeMo-12B-Base Рекомендуется использовать mistralai/Mistral-Nemo-Base-2407 с выводом о мистрале. Чтобы увидеть фрагменты кода ВЧ-трансформаторов, продолжайте прокручивать. После установки mistralinference в вашей среде должна быть доступна команда CLI mistral-demo`. > [!ВАЖНО] > ПРИМЕЧАНИЕ. До выхода новой версии вы…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: IntervitensInc
Теги: mistral, conversational, en, fr, de, es, it, pt
Лайков: 7 | Загрузок: 206
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
