Квантованная версия kappa-20b-131k только по весу MXFP4 — тонкая настройка MoE 20,9B с персональным управлением, контекстом 131K и вызовом инструментов. Веса Expert MLP квантуются до MXFP4 (значения E2M1 с блочными шкалами E8M0, размер группы 32). Все остальные веса (внимание, маршрутизатор, встраивания, смещения) остаются в bf16. Вывод: W4A16 — активации все время остаются в bf16. Преобразовано из контрольной точки bf16, обученной QAT, с использованием квантования только по весу MXFP4. Квантуются только экспертные веса MLP (gateupproj, downproj`) — те же модули, которые используются во время обучения QAT. GPT-OSS использует скрытыйdim=2880, который не выравнивается по 128. Это вызывает проблемы как с CUTLASS FP4 (несовпадение смещения шкалы для каждого эксперта), так и с Marlin (неверная конфигурация резьбы). MXFP4 использует ядро Triton (matmulogs), которое изначально обрабатывает произвольные размеры. Кроме того, для MXFP4 по умолчанию используется W4A16 (активации в bf16), что позволяет избежать шума квантования активации, который ухудшает качество в режиме экстраполяции YaRN (> 4096 токенов). Модель была обучена многоходовым диалогам между 9 персонажами роботов, сопоставленными с сеткой выравнивания D&D: Чтобы активировать персонаж, установите системное сообщение «Персона:» (например, Персона: chaoticevil`). …
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: eousphoros
Теги: gpt_oss, mixture-of-experts, moe, long-context, fine-tuning, sft, persona, multi-turn
Лайков: 6 | Загрузок: 21
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
