MiniMax-M2.7-AWQ-4bit
W4A16 quantization of MiniMaxAI/MiniMax-M2.7, produced with llm-compressor. — Format: compressed-tensors pack-quantized, int4 weights / fp16 activations — Group...
W4A16 quantization of MiniMaxAI/MiniMax-M2.7, produced with llm-compressor. — Format: compressed-tensors pack-quantized, int4 weights / fp16 activations — Group...
> [!IMPORTANT] > Naming notice (2026-04-10). The «HLWQ» technique used in this model is being rebranded to HLWQ...
This repository contains a 4-bit GPTQ quantized version of google/medgemma-27b-text-it, optimized for high-throughput inference using vLLM and the...
> [!IMPORTANT] > Уведомление о наименовании (2026-04-10). Метод «HLWQ», используемый в этой модели, переименовывается в HLWQ (Hadamard-Lloyd Weight...
Этот репозиторий содержит файлы моделей Nous-Hermes-2-Yi-34B, оптимизированные для nm-vllm, высокопроизводительного механизма обслуживания сжатых LLM. Эта модель была квантована...
> [!ВАЖНО] > Уведомление об именовании (10 апреля 2026 г.). Метод «HLWQ», используемый в этой модели, переименовывается в...
> [!ВАЖНО] > Уведомление об именовании (10 апреля 2026 г.). Метод «HLWQ», используемый в этой модели, переименовывается в...
> [!ВАЖНО] > Уведомление об именовании (10 апреля 2026 г.). Метод «HLWQ», используемый в этой модели, переименовывается в...
Это 4-битное квантование GPTQ-Pro Jackrong/Qwopus3.6-27B-v2, созданное для того, чтобы сделать эту превосходную модель Qwopus/Qwen3.6 практичной для запуска в...
> [!ВАЖНО] > Уведомление об именовании (10 апреля 2026 г.). Метод «HLWQ», используемый в этой модели, переименовывается в...