Qwen3-VL-235B-A22B-Instruct-FP8-dynamic
— Model Architecture: Qwen3VLMoeForConditionalGeneration — Input: Text/Image/Video — Output: Text — Model Optimizations: — Weight quantization: FP8 —...
Метка: llm-compressor
Qwen3-Next-80B-A3B-Instruct-NVFP4
— Архитектура модели: Qwen3NextForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование веса:...
NVIDIA-Nemotron-Nano-9B-v2-quantized.w4a16
— Архитектура модели: NemotronHForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Весовое квантование:...
Apertus-8B-Instruct-2509-FP8-dynamic
— Архитектура модели: ApertusForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование веса:...
Qwen3-VL-32B-Instruct-NVFP4
— Архитектура модели: Qwen3VLForConditionalGeneration — Входные данные: текст, изображение — Выходные данные: текст — Оптимизация модели: — Квантование...
MiniMax-M2.1-BF16-INT4-AWQ
Это квант высочайшего качества, который может работать на 192 ГБ видеопамяти > [!TIP] > 💡Это родственная модель mratsim/MiniMax-M2.1-FP8-INT4-AWQ...
MiniMax-M2.5-FP8-INT4-AWQ
Это квант высочайшего качества, который может работать на 192 ГБ видеопамяти > [!TIP] > 💡 Версия без FP8...
Qwen3-Coder-Next-NVFP4
— Архитектура модели: Qwen3NextForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование веса:...
MiniMax-M2.5-BF16-INT4-AWQ
— 15 февраля 2026 г.: требуется обеспечить качество — пакетный размер = 1 (поток) и добавлен греческий язык...
MiniMax-M2.1-FP8-INT4-AWQ
Это квант высочайшего качества, который может работать на 192 ГБ видеопамяти > [!TIP] > 💡 Версия без FP8...