Недавно оптимизатор Muon продемонстрировал хорошие результаты при обучении небольших языковых моделей, но его масштабируемость для более крупных моделей не доказана. Мы выделяем два важнейших метода масштабирования мюона: — Распад веса: критически важен для масштабирования до более крупных моделей. — Согласованные обновления RMS: обеспечение согласованного среднеквадратического значения при обновлениях модели. Эти методы позволяют мюону работать «из коробки» при крупномасштабном обучении без необходимости настройки гиперпараметров. Эксперименты по закону масштабирования показывают, что Мюон в $sim2times$ более эффективен по выборке, чем Адам, при оптимальном обучении по вычислениям. На основе этих улучшений мы представляем Moonlight, модель Mixture of Expert (MoE) с 3B/16B параметрами, обученную с помощью токенов 5.7T с использованием Muon. Наша модель улучшает текущий предел Парето, достигая более высокой производительности при гораздо меньшем количестве FLOP обучения по сравнению с предыдущими моделями. Мы открываем исходный код нашей реализации Muon, которая оптимально использует память и эффективно взаимодействует. Мы также выпускаем предварительно обученные, настроенные с помощью инструкций и промежуточные контрольные точки для поддержки будущих исследований. Наша работа опирается на Мюон, систематически выявляя и устраняя его ограничения в крупномасштабных сценариях обучения. Наш…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: moonshotai
Теги: deepseek_v3, conversational, custom_code, text-generation-inference, endpoints_compatible
Лайков: 109 | Загрузок: 72,700
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
