Qwen3-4B-Instruct-2507-GPTQ-Int4
This model is quantized to 4-bit with a group size of 128. Compared to earlier quantized versions, the...
Метка: 量化修复
Qwen3-30B-A3B-Thinking-2507-AWQ
За последние три месяца мы продолжали масштабировать способность мышления Qwen3-30B-A3B, улучшая как качество, так и глубину рассуждений. Мы...
Qwen3-235B-A22B-Thinking-2507-GPTQ-Int4-Int8Mix
Over the past three months, we have continued to scale the thinking capability of Qwen3-235B-A22B, improving both the...
Qwen3-235B-A22B-Instruct-2507-GPTQ-Int4-Int8Mix
We introduce the updated version of the Qwen3-235B-A22B non-thinking mode, named Qwen3-235B-A22B-Instruct-2507, featuring the following key enhancements: —...
DeepSeek-R1-0528-Qwen3-8B-GPTQ-Int4-Int8Mix
The DeepSeek R1 model has undergone a minor version upgrade, with the current version being DeepSeek-R1-0528. In the...
Qwen3-8B-GPTQ-Int4
Эта модель квантуется до 4-бит с размером группы 128. По сравнению с более ранними квантованными версиями, новая квантованная...
Qwen3-14B-GPTQ-Int4
Эта модель квантуется до 4-бит с размером группы 128. По сравнению с более ранними квантованными версиями, новая квантованная...
Qwen3-32B-GPTQ-Int8
Эта модель квантуется до 8 бит с размером группы 128. По сравнению с более ранними квантованными версиями, новая...
Qwen3-32B-GPTQ-Int4
Эта модель квантуется до 4-бит с размером группы 128. По сравнению с более ранними квантованными версиями, новая квантованная...
Qwen3-30B-A3B-Thinking-2507-AWQ-BF16Mix
Модуль awqmarlin в vllm не проверяет параметр elementstonotconvert при загрузке модулей AWQ-MoE, что приводит к сбою смешанного квантования...