Meta-Llama-3-70B-Instruct-GPTQ-Int4
Мы используем репозиторий Swift Modelscope для выполнения квантования GPTQ. Документацию по квантованию можно найти здесь. Команда квантования следующая:...
Метка: int4
Qwopus-MoE-35B-A3B-HLWQ-Q5
> [!ВАЖНО] > Уведомление об именовании (10 апреля 2026 г.). Метод «HLWQ», используемый в этой модели, переименовывается в...
Qwen3-32B-4bit-SINQ
Этот репозиторий содержит официальную 4-битную квантованную версию модели Qwen3-32B с использованием метода SINQ (Sinkhorn-Normalized Quantization). SINQ — это...
Qwen3-30B-A3B-quantized.w4a16
— Архитектура модели: Qwen3ForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Весовое квантование:...
DeepSeek-R1-quantized.w4a16
— Архитектура модели: DeepseekV3ForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование активации:...
MiniMax-M2.7-AWQ-G32-STRIX-2H
MiniMax-M2.7-AWQ-G32-STRIX-2H — это AWQ-квантование смешанной точности amd/MiniMax-M2.7-BF16, созданное для двухузлового вывода AMD Strix Halo (gfx1151) с тензорным параллелизмом...
Qwen3-32B-4bit-ASINQ
Этот репозиторий содержит официальную 4-битную квантованную версию модели Qwen3-32B с использованием калиброванной версии метода SINQ (Sinkhorn-Normalized Quantization). Этот...
DeepSeek-R1-Distill-Qwen-7B-gptqmodel-4bit-vortex-v2
— биты: 4 — динамический: ноль — размер группы: 32 — удаление: true — staticgroups: false — sym:...
MiniMax-M2.7-REAP-172B-A10B-AutoRound-W4A16
> ⚠ Экспериментальная проверка концепции — предупреждение о качестве > > Эта контрольная точка была создана в качестве...
Qwopus3.5-9B-v3-HLWQ-Q5
> [!ВАЖНО] > Уведомление об именовании (10 апреля 2026 г.). Метод «HLWQ», используемый в этой модели, переименовывается в...