Этот репозиторий содержит исходный код полной точности в формате «безопасных тензоров» для создания GGUF, GPTQ, EXL2, AWQ, HQQ и других форматов. Исходный код также можно использовать напрямую. Это простая «тонкая настройка» модели Qwen «Qwen 30B-A3B» (MOE), устанавливающая число используемых экспертов от 8 до 4 (из 128 экспертов). Этот метод почти вдвое увеличивает скорость модели и использует 1,5B (из 30B) параметров вместо 3B (из 30B). В зависимости от приложения вы можете использовать обычную модель («30B-A3B») и использовать эту модель для более простых вариантов использования, хотя я не заметил какой-либо потери функциональности во время обычного (но не обширного) тестирования. Пример генерации (Q4KS, CPU) внизу этой страницы с использованием 4 экспертов/этой модели. NEO Imatrix Quants / Imatrix Max Quants в контексте 64K находятся здесь: [ https://huggingface.co/DavidAU/Qwen3-30B-A1.5B-High-Speed-NEO-Imatrix-MAX-gguf ] В более сложных случаях использования может быть полезно использовать обычную версию и/или версии для 12, 16 или 24 экспертов — ссылки ниже. Для справки: — Операция Q4KS только для процессора (Windows 11) скачет с 12 т/с до 23 т/с. — Производительность графического процессора IQ3S подскочила с 75 т/с до более чем 125 т/с. (карта низкого и среднего уровня) — Из-за уникальной природы (МЧС,…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: DavidAU
Теги: qwen3_moe, 32 k context, reasoning, thinking, qwen3, 4 experts activated, double speed, 128 experts
Лайков: 12 | Загрузок: 206
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
