> [!Note] > Артефакт исследования: промежуточная контрольная точка только для SFT в конвейере обучения Instruct. Используйте его для изолированного изучения или развития этапа SFT, проведения экспериментов после обучения (настройка предпочтений, RLVR и т. д.) или сравнения с окончательным вариантом, настроенным на RL. Для инструкций по качеству производства вместо этого используйте Instruct. Mellum2 Instruct (SFT) — это промежуточная контрольная точка обучающего конвейера Mellum2 Instruct, предназначенная только для контролируемой точной настройки, выпущенная JetBrains в качестве исследовательского артефакта. Модель использует архитектуру Mixture-of-Experts с 64 экспертами и активирует 8 экспертов на каждый токен. Он использует комбинацию слоев скользящего окна и слоев полного внимания с длиной контекста 131 072 токена. Эта контрольная точка была создана на основе Mellum2-12B-A2.5B-Base с тремя эпохами SFT на смешанном корпусе кодирования, агентов, использования инструментов, выполнения инструкций, общего чата, данных идентификации и безопасности. Это отправная точка этапа RLVR, на котором создается окончательная инструкция Mellum2-12B-A2.5B. Этот репозиторий содержит одну контрольную точку из семейства Mellum2. — Количество слоев: 28 — Скрытый размер: 2304 — Промежуточный размер: 7168 — Промежуточный размер МО: 896 — Количество экспертов: 64 — Число…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: JetBrains
Теги: mellum, conversational, en, model-index, eval-results, endpoints_compatible
Лайков: 9 | Загрузок: 165
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
