RedPajama-INCITE-Chat-3B-v1-GPTQ-4bit-128g
Квантование GPTQ RedPajama-INCITE-Chat-3B-v1 с помощью auto-gptq. Размер файла модели составляет всего 2 ГБ. > Обратите внимание, что вы...
Метка: auto-gptq
Llama-3.3-70B-Instruct-AutoRound-GPTQ-4bit
Это мета-лама/Llama-3.3-70B-Instruct, квантованная с помощью AutoRound (симметричное квантование) и сериализованная в формате GPTQ в 4-битном формате. Модель была...
Qwen2.5-72B-Instruct-AutoRound-GPTQ-4bit
Это Qwen/Qwen2.5-72B-Instruct, квантованный с помощью AutoRound (симметричное квантование) и сериализованный в формате GPTQ в 4-битном формате. Модель была...
DeepSeek-R1-Distill-Qwen-14B-AutoRound-GPTQ-4bit
Это DeepSeek-R1-Distill-Qwen-14B, квантованный с помощью AutoRound (симметричное квантование) и сериализованный в формате GPTQ в 4-битном формате. Модель была...