Muse2-125M — это младший брат Muse2-230M — та же самая гибридная архитектура свертки/внимания, разработанная с нуля и рассчитанная на более ограниченные ресурсы обработки данных. Включены как базовые, так и настроенные на уровне инструкций веса. Архитектура модели: Muse2 — это авторегрессивная языковая модель, использующая гибридную архитектуру свертки/внимания, реализованную с нуля на PyTorch (Muse2ForCausalLM, без кода для трансформеров). Оптимизированная версия построена с использованием контролируемой тонкой настройки (SFT) с маскированием потерь только на основе завершения. RLHF и DPO не применялись. Поддерживаемые языки: английский. Модель также обрабатывает исходный код и математический текст. Architecture Details: 12 blocks interleaving 7 causal depthwise short-convolution blocks (kernel size 3) with 5 full-attention blocks; Grouped-Query Attention (12 query / 6 key-value heads); RoPE with theta 1e6; RMSNorm; parallel merged SwiGLU MLPs (hidden 768, ff 2304); tied input/output embeddings; vocabulary of 65,536 byte-level BPE tokens (pad=0, bos=1, eos=7, ChatML-style control tokens). Status: This is a static model. Могут быть выпущены более поздние версии, которые улучшают возможности модели. Варианты использования: Muse2 предназначен для исследований и образования: изучение компактных…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Muse-research
Теги: muse2, conversational, hybrid-attention, convolution, grouped-query-attention, edge, on-device, structured-output
Лайков: 3 | Загрузок: 163
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.