Qwen2.5-Coder-32B-Instruct-AutoRound-GPTQ-4bit
This is Qwen/Qwen2.5-Coder-32B-Instruct quantized with AutoRound (symmetric quantization) and serialized with the GPTQ format in 4-bit. The model...
Метка: auto-gptq
stablelm-7b-sft-v7e3-autogptq-4bit-128g
Версия GPTQ модели Open-Assistant StableLM-7B SFT-7, квантованная с помощью AutoGPTQ Обновит это позже — взгляните на солаб, чтобы...
Qwen2.5-72B-Instruct-AutoRound-GPTQ-2bit
Это Qwen/Qwen2.5-72B-Instruct, квантованный с помощью AutoRound (симметричное квантование) и сериализованный в формате GPTQ в 2-бит. Модель была создана,...
RedPajama-INCITE-Chat-3B-v1-GPTQ-4bit-128g
Квантование GPTQ RedPajama-INCITE-Chat-3B-v1 с помощью auto-gptq. Размер файла модели составляет всего 2 ГБ. > Обратите внимание, что вы...
Llama-3.3-70B-Instruct-AutoRound-GPTQ-4bit
Это мета-лама/Llama-3.3-70B-Instruct, квантованная с помощью AutoRound (симметричное квантование) и сериализованная в формате GPTQ в 4-битном формате. Модель была...
Qwen2.5-72B-Instruct-AutoRound-GPTQ-4bit
Это Qwen/Qwen2.5-72B-Instruct, квантованный с помощью AutoRound (симметричное квантование) и сериализованный в формате GPTQ в 4-битном формате. Модель была...
DeepSeek-R1-Distill-Qwen-14B-AutoRound-GPTQ-4bit
Это DeepSeek-R1-Distill-Qwen-14B, квантованный с помощью AutoRound (симметричное квантование) и сериализованный в формате GPTQ в 4-битном формате. Модель была...