hy3-w4a16-mtp
> Выпущено 16 июля 2026 г. Все этапы пройдены: проверка артефакта (—check-mtp), > качество по сравнению с FP8...
Метка: int4
GLM-5.2-MTP-INT4-15pct
Отдельный проект MTP (многотокеновое предсказание) предназначен для спекулятивного декодирования с помощью CosmicRaisins/GLM-5.2-AWQ-INT4-15pct. cyankiwi/GLM-5.2-AWQ-INT4 удаляет собственный уровень MTP GLM-5.2,...
MiMo-V2.5-AWQ-int4
4-битное (AWQ W4A16, только для экспертов) квантование MiMo-V2.5, упакованное для работы на NVIDIA A100 (SM80) под стандартной версией...
Qwen3.6-27b-gptq-int4
> Квантование GPTQ INT4 Qwen/Qwen3.6-27B. > в 3 раза меньше. ~2,4× быстрее. Однопоточное измерение на том же оборудовании,...
NVIDIA-Nemotron-Nano-9B-v2-quantized.w4a16
— Архитектура модели: NemotronHForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Весовое квантование:...
Qwen3-14B-4bit-SINQ
Этот репозиторий содержит официальную 4-битную квантованную версию модели Qwen3-14B с использованием метода SINQ (Sinkhorn-Normalized Quantization), как представлено в...
Qwen3-1.7B-4bit-ASINQ
Этот репозиторий содержит официальную 4-битную квантованную версию модели Qwen3-1.7B с использованием калиброванной версии метода SINQ (Sinkhorn-Normalized Quantization). SINQ...
Qwen3-1.7B-4bit-SINQ
Этот репозиторий содержит официальную 4-битную квантованную версию модели Qwen3-1.7B с использованием метода SINQ (Sinkhorn-Normalized Quantization). SINQ — это...
Qwen3-8B-quantized.w4a16
— Архитектура модели: Qwen3ForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Весовое квантование:...
DeepSeek-R1-Distill-Qwen-32B-quantized.w4a16
— Архитектура модели: Qwen2ForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Весовое квантование:...