Qwen3-Coder-30B-A3B-Instruct-AWQ
Обновленное квантование AWQ: выполнено stelterlab в INT4 GEMM с помощью llm-compressor (https://github.com/vllm-project/llm-compressor) из vllm-project. Все еще пытаюсь познакомиться...
Метка: compressed-tensors
DeepSeek-R1-Distill-Qwen-32B-GPTQ-INT4
Эта модель была квантована с использованием библиотеки llm-compressor от команды vLLM. Калибровочным набором данных был ultrachat200k с длиной...
Qwen3.6-27B-NVFP4-GPTQ
В этом репозитории размещена квантованная версия модели Qwen3.6-27B NVFP4. Процесс квантования выполнялся с использованием llm-compressor с использованием стратегии...
granite-4.1-30b-fp8
> [!NOTE] > Этот репозиторий содержит версию FP8 4.1-30B. > > Дополнительную информацию см. в карточке модели оригинальной...
Qwopus-MoE-35B-A3B-HLWQ-Q5
> [!ВАЖНО] > Уведомление об именовании (10 апреля 2026 г.). Метод «HLWQ», используемый в этой модели, переименовывается в...
Qwen3-4B-Instruct-2507-AWQ-4bit
Квантовано с использованием vllm-project/llm-compressor, nvidia/Llama-Nemotron-Post-Training-Dataset и следующих конфигураций: Мы представляем обновленную версию режима без мышления Qwen3-4B под названием...
Qwen3-30B-A3B.w4a16
В настоящее время восходящий сленг неправильно загружает этот квант из-за нескольких незначительных проблем. Пока восходящий поток не будет...
DeepSeek-V4-Flash-W4A16-FP8-MTP
W4A16 INT4 маршрутизирует экспертов + блок FP8 128×128 внимания + черновой заголовок BF16 Multi-Token Prediction (MTP) сохранен —...
granite-4.1-3b-fp8
> [!NOTE] > Этот репозиторий содержит версию FP8 4.1-3B. > > Дополнительную информацию см. в карточке модели исходной...
Qwen3-Next-80B-A3B-Instruct-NVFP4
Квантованная версия Qwen/Qwen3-Next-80B-A3B-Instruct с использованием LLM Compressor и формата NVFP4 (E2M1 + E4M3). Это должно стать началом новой...