Этот репозиторий содержит квант exl2 Mistral-Nemo-Instruct-2407 мощностью 6,4 бита в секунду. Загрузка этого кванта вместе с длиной контекста 32 КБ вряд ли уместится в 16 ГБ видеопамяти в Windows. Модель большого языка Mistral-Nemo-Instruct-2407 (LLM) представляет собой усовершенствованную версию Mistral-Nemo-Base-2407. Обученный совместно Mistral AI и NVIDIA, он значительно превосходит существующие модели меньшего или аналогичного размера. Более подробную информацию об этой модели можно найти в нашем блоге. — Выпущено по лицензии Apache 2 — Предварительно обученные и инструктированные версии — Обучены с контекстным окном 128 тыс. — Обучены на большом количестве многоязычных и кодовых данных — Встроенная замена Mistral 7B Mistral Nemo — модель-трансформер со следующими вариантами архитектуры: — Слои: 40 — Размер: 5120 — Размер головы: 128 — Скрытый размер: 14 436 — Активация Функция: SwiGLU — Количество головок: 32 — Количество kv-головок: 8 (GQA) — Размер словаря: 217 ~= 128k — Вращающиеся вложения (тета = 1M)** — неправильный вывод: см. здесь — трансформаторы: см. здесь — NeMo`: см. nvidia/Mistral-NeMo-12B-Instruct Рекомендуется использовать mistralai/Mistral-Nemo-Instruct-2407 с выводом мистраля. Для фрагментов кода ВЧ-трансформаторов…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: grimjim
Теги: mistral, conversational, en, fr, de, es, it, pt
Лайков: 5 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
