> Внимание: восходящий путь вывода HF нарушен (подтверждено поставщиком > 22 июля 2026 г.: «HF.generate в настоящее время имеет некоторые проблемы»). Исходная контрольная точка выдает некогерентный вывод до того, как будет применено какое-либо квантование; выпущенный код моделирования и веса, скорее всего, принадлежат разным ревизиям. Этот репозиторий представляет собой справочную реализацию квантования блоков FP8 только для экспертов в исследовательских целях, а не пригодную для использования модель генерации текста до тех пор, пока восходящий поток не отправит соответствующий код. Квантование Motif-Technologies/Motif-3-Beta только для экспертов FP8 (E4M3, блок 128×128) (фиксация 32b0305): 630 ГБ BF16 -> 322 ГБ, с квантованием 97,84% параметров и решениями по маршрутизации, побитно идентичными оригиналу. Квантованные: moe.experts.gateupproj и moe.experts.downproj всех 51 слоя MoE (параметры 308.0B). В BF16 сохранены: внимание (GDLA), mHC, коэффициенты PolyNorm для каждого эксперта, маршрутизатор, общие эксперты, плотный MLP, MTP, вложения, lmhead. Все сравнения проводятся для FP8 (деквантованного) и исходной контрольной точки BF16. Ошибка одинакова для всех слоев — нет хрупких слоев или экспертов. Сквозной: не может быть сертифицирован — сама базовая линия BF16 нарушена в восходящем направлении. Под одинаковой подачей…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: 0ppxnhximxr
Теги: Motif, motif, motif-3, mixture-of-experts, moe, fp8, quantized, block-quantization
Лайков: 5 | Загрузок: 127
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
