Языковая модель Mixture-of-Experts (всего 35B / 3B активных параметров), точно настроенная с помощью Claude 4.6 Opus, обрабатывающая данные дистилляции с использованием потерь только при завершении. Сочетает в себе скорость вывода MoE со структурированным мышлением. Эта модель была обучена с потерями только при завершении — модель учится только на основе токенов рассуждений и ответов, а не на предсказании подсказки пользователя. По сравнению со стандартной версией SFT Jackrong это дает: — Более структурированные блоки с пронумерованными пошаговыми рассуждениями — Лучше отформатированные выходные данные (таблицы уценок, математические вычисления LaTeX, трассировки выполнения) — Более тщательные и строгие доказательства и анализ — Более краткие ответы, когда это необходимо. Благодаря пропускной способности 1,8 ТБ/с даже Q8_0 работает быстрее. Меньшие кванты дают скромное ускорение, поскольку графический процессор не ограничен в пропускной способности. Унифицированная архитектура памяти с ограниченной полосой пропускания. Здесь квантование имеет наибольшее значение. На оборудовании с ограниченной полосой пропускания меньшие кванты напрямую преобразуются в более быстрый вывод. Q4KM на 33% быстрее, чем Q8_0, без видимой потери качества. Рекомендация: используйте Q4KM для достижения наилучшего баланса качества, скорости и размера. Используйте Q80 только в том случае, если у вас достаточно видеопамяти и вам нужна максимальная точность. Используйте Q3K_M, если вам нужно…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: samuelcardillo
Теги: gguf, qwen3.5, moe, reasoning, claude-distillation, llama-cpp, lora, unsloth
Лайков: 24 | Загрузок: 15,349
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
