Первое квантование Qwen3-Coder-Next 80B с качеством APEX I, откалиброванное на корпусе кодов. Это квантование Qwen/Qwen3-Coder-Next с качеством APEX I — модель Mixture-of-Experts с 80 битами параметров и всего 3 битами активных параметров на токен, разработанная специально для агентов кодирования и локальной разработки. — Профиль APEX I-Quality — самый высокий уровень качества в системе квантования APEX, использующий оптимизацию каждого типа тензора для архитектур MoE. — Калиброванная по коду иматрица — матрица важности, созданная на основе 50 575 образцов кода (не из Википедии). Иматрикс сообщает квантователю, какие веса наиболее важны для генерации кода, синтаксиса, вызова инструментов и рабочих нагрузок агента. Протестировано в производстве — именно эта модель работает в производстве, обеспечивая работу агентов кодирования PicoClaw на оборудовании AMD Ryzen AI Max+ 395. Протестировано на AMD Ryzen AI Max+ 395 (унифицированная память 128 ГБ, ROCm/Vulkan): конструкция с активными параметрами 3B означает, что эта модель 80B работает на скоростях, сопоставимых или превышающих — многие. меньшие плотные модели. На нашем железе он превосходит вариант 30B как по скорости, так и по качеству. Минимум ~58 ГБ свободной памяти для модели + кэш KV в контексте 32 КБ. Включенный файл imatrix-coder-next.dat был создан на основе более чем 50 тысяч примеров кода…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: stacksnathan
Теги: gguf, GGUF, imatrix, APEX, coding, agent, qwen3, MoE
Лайков: 9 | Загрузок: 756
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
