medgemma-27b-text-it-GPTQ-4bit
This repository contains a 4-bit GPTQ quantized version of google/medgemma-27b-text-it, optimized for high-throughput inference using vLLM and the...
Метка: marlin
Qwen3.5-9B-Claude-Opus-HLWQ-Q5
> [!IMPORTANT] > Уведомление о наименовании (2026-04-10). Метод «HLWQ», используемый в этой модели, переименовывается в HLWQ (Hadamard-Lloyd Weight...
Nous-Hermes-2-Yi-34B-marlin
Этот репозиторий содержит файлы моделей Nous-Hermes-2-Yi-34B, оптимизированные для nm-vllm, высокопроизводительного механизма обслуживания сжатых LLM. Эта модель была квантована...
Qwopus3.5-27B-v3-HLWQ-v7-GPTQ
> [!ВАЖНО] > Уведомление об именовании (10 апреля 2026 г.). Метод «HLWQ», используемый в этой модели, переименовывается в...
Qwopus3.5-9B-v3-HLWQ-v7-GPTQ
> [!ВАЖНО] > Уведомление об именовании (10 апреля 2026 г.). Метод «HLWQ», используемый в этой модели, переименовывается в...
Qwopus-MoE-35B-A3B-HLWQ-Q5
> [!ВАЖНО] > Уведомление об именовании (10 апреля 2026 г.). Метод «HLWQ», используемый в этой модели, переименовывается в...
Qwopus3.6-27B-v2-GPTQ-Pro-v1
Это 4-битное квантование GPTQ-Pro Jackrong/Qwopus3.6-27B-v2, созданное для того, чтобы сделать эту превосходную модель Qwopus/Qwen3.6 практичной для запуска в...
Qwopus3.5-9B-v3-HLWQ-Q5
> [!ВАЖНО] > Уведомление об именовании (10 апреля 2026 г.). Метод «HLWQ», используемый в этой модели, переименовывается в...
Qwen3.5-27B-HLWQ-Q5
> [!ВАЖНО] > Уведомление об именовании (10 апреля 2026 г.). Метод «HLWQ», используемый в этой модели, переименовывается в...
Qwen3.6-35B-A3B-HLWQ-CT-INT4
> Запустите 35B 256-expert MoE на RTX 3060 (12 ГБ) с экспертной разгрузкой RTX PRO 6000 Blackwell (96...