GLM-5.2-W4A16
Массы квантуют до INT4 (размер группы 128); активации выполняют в BF16. Результатом является контрольная точка объемом 388 ГБ...
Массы квантуют до INT4 (размер группы 128); активации выполняют в BF16. Результатом является контрольная точка объемом 388 ГБ...
MobileMoE — это семейство языковых моделей Mixture-of-Experts (MoE) на устройстве с субмиллиардными активными параметрами, предназначенных для продвижения границы...
Qwen 3 Embedding 8B in INT4. About 5 GB on disk. Runs on an 8 GB consumer GPU....
Partial GPTQ Int4 quant of Qwen/Qwen3.6-27B, produced with the verbatim recipe from Qwen’s own Qwen/Qwen3.5-27B-GPTQ-Int4 — only MLP/FFN...
The following layers are not quantized to preserve model quality: > Note: The DFlash drafter was trained on...
> [!IMPORTANT] > Уведомление о наименовании (2026-04-10). Метод «HLWQ», используемый в этой модели, переименовывается в HLWQ (Hadamard-Lloyd Weight...
The first INT4 AutoRound quantization of the Heretic (uncensored) Qwen3.5-397B — the largest open-source abliterated model. A 4-bit...
W4A16 (INT4 weights, BF16 activations) quantized version of OpenMOSE/Qwen3.5-REAP-262B-A17B, created using AutoRound. — Calibration dataset: NeelNanda/pile-10k (64 samples,...
— Model Architecture: Qwen3NextForCausalLM — Input: Text — Output: Text — Model Optimizations: — Weight quantization: INT4 —...
This model is quantized to 4-bit with a group size of 128. Compared to earlier quantized versions, the...