База: openai/gpt-oss-120b (heretic-v2 · mxfp4/q8-hi · формат MLX) Набор данных точной настройки: nohurry/Opus-4.6-Reasoning-3000x-filtered — Клод Опус 4.6, дистилляция рассуждений Оптимизатор: Muon + резервный вариант AdamW Аппаратное обеспечение: Apple Silicon M-series +4 восстановленные задачи · +28,6 процентных пункта · Вывод быстрее на 11,7%. Остальные ошибки (math02 Euler Totient Sum, math04 Segmented Sieve) представляют собой сложные задачи теории чисел, не связанные с регрессией генерации кода, и остаются согласованными на обеих контрольных точках. Ключевой вывод заключается в том, что простое уменьшение top-k не нарушает сами веса MoE — оно нарушает способность маршрутизатора правильно распределять нагрузку с меньшим количеством экспертов, что затем каскадно передается на уровни внимания/FFN, создавая структурно искаженный код. Исправление требует двух одновременных вмешательств: 1. LoRA на слоях проекций — адаптирует внимание и веса экспертов FFN к режиму маршрутизации с двумя экспертами. 2. Разморозка маршрутизатора полной точности — маршрутизатор является классификатором softmax; LoRA здесь неуместен, потому что ортогонализация Ньютона-Шульца (используемая в Мюоне) разрушает логит-распределения. Веса маршрутизатора размораживаются напрямую и обучаются с помощью AdamW при консервативном LR. 3. Мюонный оптимизатор для…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: cloudyu
Теги: mlx, gpt_oss, lora, reasoning, reasoning-distillation, claude-opus-4.6, mixture-of-experts, apple-silicon
Лайков: 6 | Загрузок: 778
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
