> [!Note] > Используйте эту контрольную точку в качестве отправной точки для исследования расширения длинного контекста или для продолжения предварительной подготовки и тонкой настройки 8K-контекста. Для последующих приложений вместо этого используйте Base, Instruct или Thinking. Mellum2 Base — это предварительно обученная модель причинного языка, обученная JetBrains. Модель использует архитектуру Mixture-of-Experts с 64 экспертами и активирует 8 экспертов на каждый токен. Он использует комбинацию слоев скользящего окна и слоев полного внимания с длиной контекста 8192 токена. Этот репозиторий содержит одну контрольную точку из семейства Mellum2. — Количество слоев: 28 — Скрытый размер: 2304 — Промежуточный размер: 7168 — Промежуточный размер MoE: 896 — Количество экспертов: 64 — Количество активированных экспертов: 8 — Количество головок внимания (GQA): 32 для Q и 4 для KV — Длина контекста: 8192 — Скользящее окно: 1024 — Размер словаря: 98,304 — Точность: bfloat16 — Лицензия: Apache 2.0. Эта контрольная точка имеет длину контекста 8 КБ (расширение длинного контекста применяется в Base). Результаты оценки доступны в карточке модели. Все значения сообщаются JetBrains самостоятельно.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: JetBrains
Теги: mellum, conversational, en, model-index, eval-results, endpoints_compatible
Лайков: 9 | Загрузок: 243
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
