Модуль awqmarlin в vllm не проверяет параметр elementstonotconvert при загрузке модулей AWQ-MoE, что приводит к сбою смешанного квантования MoE или сообщению об ошибках. См.: [[Проблема №21888]](https://github.com/vllm-project/vllm/pull/21888). Перед объединением PR временно замените awqmarlin.py в vllm/modelexecutor/layers/quantization/awqmarlin.py`. В течение последних трех месяцев мы продолжали масштабировать мыслительные способности Qwen3-30B-A3B, улучшая как качество, так и глубину рассуждений. Мы рады представить Qwen3-30B-A3B-Thinking-2507 со следующими ключевыми улучшениями: — Значительно улучшена производительность при решении задач рассуждения, включая логические рассуждения, математику, естественные науки, программирование и академические тесты, которые обычно требуют человеческого опыта. — Заметно улучшены общие возможности, такие как следование инструкциям, использование инструментов, генерация текста и согласование с предпочтениями человека. — Улучшены возможности понимания длинного контекста 256K. Qwen3-30B-A3B-Thinking-2507 имеет следующие функции: — Тип: причинно-следственные языковые модели — Этап обучения: предварительное обучение и постобучение — Количество параметров: всего 30,5B и активировано 3,3B — Количество…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: QuantTrio
Теги: qwen3_moe, AWQ, BF16Mix, 量化修复, vLLM, conversational, endpoints_compatible, 4-bit
Лайков: 5 | Загрузок: 375
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
