Qwen2.5-Coder-32B-Instruct-AutoRound-GPTQ-4bit
This is Qwen/Qwen2.5-Coder-32B-Instruct quantized with AutoRound (symmetric quantization) and serialized with the GPTQ format in 4-bit. The model...
Метка: autoround
Ornith-1.5-35B-Uncensored-YMQ-MTP-GGUF
⚡ Fuel the Lab: Keep the Optimization Loops Running Every single ZeroDigest YMQ-MTP release is handcrafted and manually...
Qwen3.5-397B-A17B-heretic-int4-AutoRound
The first INT4 AutoRound quantization of the Heretic (uncensored) Qwen3.5-397B — the largest open-source abliterated model. A 4-bit...
Qwen3.5-REAP-262B-A17B-W4A16
W4A16 (INT4 weights, BF16 activations) quantized version of OpenMOSE/Qwen3.5-REAP-262B-A17B, created using AutoRound. — Calibration dataset: NeelNanda/pile-10k (64 samples,...
Qwen2.5-72B-Instruct-AutoRound-GPTQ-2bit
Это Qwen/Qwen2.5-72B-Instruct, квантованный с помощью AutoRound (симметричное квантование) и сериализованный в формате GPTQ в 2-бит. Модель была создана,...
Llama-3.3-70B-Instruct-AutoRound-GPTQ-4bit
Это мета-лама/Llama-3.3-70B-Instruct, квантованная с помощью AutoRound (симметричное квантование) и сериализованная в формате GPTQ в 4-битном формате. Модель была...
Qwen2.5-72B-Instruct-AutoRound-GPTQ-4bit
Это Qwen/Qwen2.5-72B-Instruct, квантованный с помощью AutoRound (симметричное квантование) и сериализованный в формате GPTQ в 4-битном формате. Модель была...
GLM-4.7-REAP-40-W4A16
> [!TIP] > Поддержите эту работу → · X · GitHub · REAP paper · Cerebras REAP 𓌳...
DeepSeek-R1-Distill-Qwen-14B-AutoRound-GPTQ-4bit
Это DeepSeek-R1-Distill-Qwen-14B, квантованный с помощью AutoRound (симметричное квантование) и сериализованный в формате GPTQ в 4-битном формате. Модель была...
GLM-5.1-555B-W4A16
> [!TIP] > Поддержите эту работу → · X · GitHub · Документ REAP · Cerebras REAP Это...