Этот репозиторий содержит исходный код полной точности в формате «безопасных тензоров» для создания GGUF, GPTQ, EXL2, AWQ, HQQ и других форматов. Исходный код также можно использовать напрямую. Это простая «тонкая настройка» модели Qwen «Qwen 30B-A3B» (MOE), устанавливающая число используемых экспертов от 8 до 16 (из 128 экспертов). ДВА примера поколений (Q4KS, CPU) внизу этой страницы с использованием 16 экспертов/этой модели. Это снижает скорость модели, но требует больше «экспертов» для обработки ваших запросов и использует 6B (из 30B) параметров вместо 3B (из 30B) параметров. В зависимости от приложения вы можете использовать обычную модель («30B-A3B») и использовать эту модель для БОЛЕЕ СЛОЖНЫХ / «ГЛУБОКИХ» вариантов использования (IE Nuance). Для версии 128k, Neo Imatrix, с дополнительными модифицированными квантовами (от IQ1M до Q8 Ultra (эксперты f16)) — 52 квантов — см. или «Высокоскоростная» (4 эксперта) версия(и). Использование 16 экспертов вместо 8 по умолчанию замедлит скорость передачи токенов в секунду примерно на 1/2 или около того. — Из-за уникальной природы (МЧС, Размер, Активация…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: DavidAU
Теги: qwen3_moe, 32 k context, reasoning, thinking, qwen3, 16 experts, conversational, endpoints_compatible
Лайков: 61 | Загрузок: 96
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
