Muse-2-350M — это английская языковая модель генерации текста, разработанная компанией Muse-research. Это компактная причинно-языковая модель, созданная для общего письма, ответов на вопросы, научных рассуждений, упрощенной помощи в кодировании, обобщения и создания стиля помощника. Модель использует собственную архитектуру MuseNova Transformer. MuseNova — это авторегрессионная языковая модель, предназначенная только для декодера, с встраиванием вращающихся позиций, вниманием к групповым запросам, RMSNorm и закрытой сетью прямой связи. Модель спроектирована таким образом, чтобы занимать мало места, сохраняя при этом длинное контекстное окно для документов, пояснений и многошаговых подсказок. Архитектура модели: MuseNova — это архитектура Transformer, предназначенная только для декодера, для моделирования причинного языка. Он использует внимание к групповым запросам для эффективного вывода, RoPE для кодирования положения и блок MLP в стиле SwiGLU. Семейство моделей: Muse-2 — это компактное семейство моделей, ориентированное на эффективную генерацию текста и эксперименты по рассуждению. Muse-2-350M — это версия класса параметров 350M. Статус: это статическая модель, выпущенная как автономная контрольная точка. Он не просматривает Интернет, не извлекает оперативную информацию и не обновляется после выпуска. Варианты предполагаемого использования: Muse-2-350M предназначен для…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение
Задача: Генерация текста
Автор: Muse-research
Теги: muse_nova_transformer, causal-lm, transformer, grouped-query-attention, long-context, science, reasoning, muse-research
Лайков: 7 | Загрузок: 134
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
