Специальное примечание: все кванты этой модели могут использоваться на графическом процессоре и/или процессоре/ОЗУ только благодаря уникальной конструкции модели. Существует также несколько версий квантовых размеров со специальными функциями. GGUF NEO Imatrix — изображения новой модели Qwen «Qwen3-30B-A3B» «Смесь экспертов», расширенной до 128k (131072) (по сравнению с 32k/32768) контекста согласно техническим примечаниям Qwen с использованием «YARN». Набор данных NEO Imatrix был разработан собственными силами после тестирования и оценки более 50 наборов данных Imatrix и большого количества «доработок». Этот набор данных позволяет создавать кванты с уровнем IQ1_M и при этом оставаться пригодными для использования. Точно так же кванты «обычного» размера работают намного лучше. Я включил примеры генерации (рассуждения/выводы) в IQ1M, IQ3M, Q8_0 и BF16. Кванты (и отдельные процессы Imatrix) были специально разработаны для модели Qwen3 30B-A3B и использовали последние изменения в LLamacpp (15 апреля 2025 г. / B5127 и далее) для настройки самой структуры квантов. При этом «Команда Квен» заслуживает всяческих похвал. Qwen3 — это SOTA. Эти кванты (всех размеров) могут использоваться на графическом процессоре И/ИЛИ ЦП (только ЦП) благодаря уникальной структуре модели Qwen 3 (MOE и активация означают использование 3B из 30B параметров). 8 (стандартная настройка для этой модели)…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: DavidAU
Теги: gguf, all use cases, creative, creative writing, all genres, tool calls, tool use, qwen3_moe
Лайков: 34 | Загрузок: 1,552
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
