Huihui-Qwen3.5-27B-abliterated-int4-AutoRound
The following layers are not quantized to preserve model quality: > Note: The DFlash drafter was trained on...
Метка: int4
Qwen3.5-9B-Claude-Opus-HLWQ-Q5
> [!IMPORTANT] > Уведомление о наименовании (2026-04-10). Метод «HLWQ», используемый в этой модели, переименовывается в HLWQ (Hadamard-Lloyd Weight...
Qwen3.5-397B-A17B-heretic-int4-AutoRound
The first INT4 AutoRound quantization of the Heretic (uncensored) Qwen3.5-397B — the largest open-source abliterated model. A 4-bit...
Qwen3.5-REAP-262B-A17B-W4A16
W4A16 (INT4 weights, BF16 activations) quantized version of OpenMOSE/Qwen3.5-REAP-262B-A17B, created using AutoRound. — Calibration dataset: NeelNanda/pile-10k (64 samples,...
Qwen3-Next-80B-A3B-Instruct-quantized.w4a16
— Model Architecture: Qwen3NextForCausalLM — Input: Text — Output: Text — Model Optimizations: — Weight quantization: INT4 —...
Qwen3-4B-Instruct-2507-GPTQ-Int4
This model is quantized to 4-bit with a group size of 128. Compared to earlier quantized versions, the...
Qwen3-4B-quantized.w4a16
— Архитектура модели: Qwen3ForCausalLM — Вход: Текст — Выход: Текст — Оптимизация модели: — Квантование веса: INT4 —...
Qwen3-8B-GPTQ-Int4
Эта модель квантуется до 4-бит с размером группы 128. По сравнению с более ранними квантованными версиями, новая квантованная...
Qwen3-14B-GPTQ-Int4
Эта модель квантуется до 4-бит с размером группы 128. По сравнению с более ранними квантованными версиями, новая квантованная...
Qwen3-32B-GPTQ-Int4
Эта модель квантуется до 4-бит с размером группы 128. По сравнению с более ранними квантованными версиями, новая квантованная...