Llama-3.2-1B-Instruct-gptqmodel-4bit-vortex-v2.5
— биты: 4 — динамический: нуль — размер группы: 32 — descact: true — staticgroups: false — sym:...
Метка: int4
Llama-3.2-3B-Instruct-gptqmodel-4bit-vortex-v3
— биты: 4 — динамический: нуль — размер группы: 32 — descact: true — staticgroups: false — sym:...
Mistral-Nemo-Instruct-2407-gptq-4bit
— биты: 4 — размер группы: 128 — descact: true — staticgroups: false — sym: true — lmhead:...
Nous-Hermes-2-Yi-34B-marlin
Этот репозиторий содержит файлы моделей Nous-Hermes-2-Yi-34B, оптимизированные для nm-vllm, высокопроизводительного механизма обслуживания сжатых LLM. Эта модель была квантована...
Qwopus3.5-27B-v3-HLWQ-v7-GPTQ
> [!ВАЖНО] > Уведомление об именовании (10 апреля 2026 г.). Метод «HLWQ», используемый в этой модели, переименовывается в...
Qwopus3.5-9B-v3-HLWQ-v7-GPTQ
> [!ВАЖНО] > Уведомление об именовании (10 апреля 2026 г.). Метод «HLWQ», используемый в этой модели, переименовывается в...
Qwen3-14B-4bit-ASINQ
Этот репозиторий содержит официальную 4-битную квантованную версию модели Qwen3-14B с использованием калиброванной версии метода SINQ (Sinkhorn-Normalized Quantization). SINQ...
DeepSeek-R1-Distill-Llama-70B-quantized.w4a16
— Архитектура модели: LlamaForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Весовое квантование:...
DeepSeek-R1-Distill-Qwen-7B-gptqmodel-4bit-vortex-v1
🚨🚨🚨 Пожалуйста, используйте модель Vortex V2, которая исправила регрессию токена . 🚨🚨🚨 — биты: 4 — динамический: нуль...
glm-4-9b-chat-GPTQ-Int4
1. Доступ к точке входа vllm в формате vllm. 2. Доступ к точке входа в vllm. GLM-4-9B-Chat-GPTQ-Int8-量化修复，这个模型更鲁棒。 GLM-4-9B...