Ling-3.0-flash-NVFP4
includeAI/Ling-3.0-flash, квантованный до NVFP4 в формате сжатых тензоров, для vLLM и TensorRT-LLM. 76,9 ГБ по 16 шардам. Сборки...
Метка: vllm
hy3-w4a16-mtp
> Выпущено 16 июля 2026 г. Все этапы пройдены: проверка артефакта (—check-mtp), > качество по сравнению с FP8...
Hy3-MXFP4
> 4-битное квантование MXFP4 tencent/Hy3. > Оригинальная карта модели полностью сохранена ниже. Квант MXFP4 только по весу, создаваемый...
Ornith-1.0-397B-MXFP4
4-битное квантование MXFP4 Ornith-1.0-397B, созданное с помощью qstream. Только перенаправленные эксперты MoE (~95% весов) квантуются в MXFP4; все,...
nex-n2-mini-nvfp4
Nex-N2-mini с квантованием NVFP4 (тонкая настройка Qwen3.5-MoE-35B), оптимизированная для NVIDIA Blackwell (SM 12.1), обслуживающая через vLLM с ядрами...
MiMo-V2.5-AWQ-int4
4-битное (AWQ W4A16, только для экспертов) квантование MiMo-V2.5, упакованное для работы на NVIDIA A100 (SM80) под стандартной версией...
Qwen3.5-122B-A10B-NVFP4-vllm-docker-jetson-agx-thor
Первое подтвержденное развертывание Qwen3.5-122B-A10B с точностью NVFP4 на одном NVIDIA Jetson AGX Thor (унифицированная память 128 ГБ). В...
Terminator-Qwen3-8B
Терминатор — это легкий нейронный модуль, который предсказывает, когда модель языка рассуждений достигнет окончательного ответа во время генерации...
gpt-oss-20b-RichardErkhov-heresy-GGUF
Вы можете использовать gpt-oss-120b и gpt-oss-20b с трансформерами. Если вы используете шаблон чата Трансформеры, он автоматически применит формат...
GLM-4.7-Flash-MTP-NVFP4
Это квантование NVFP4 смешанной точности zai-org/GLM-4.7-Flash, модель Mixture-of-Experts 30B-A3B (30B всего, 3B активно). Эта версия сохраняет уровни MTP...