Qwen2.5-VL-7B-Instruct-FP8
Модель NVIDIA Qwen2.5-VL-7B-Instruct-FP8 представляет собой квантованную версию модели Qwen2.5-VL-7B-Instruct от Alibaba, которая представляет собой авторегрессионную языковую модель, использующую...
Метка: fp8
Qwen3-30B-A3B-Instruct-2507-FP8
> [!NOTE] > Включает исправления шаблона чата Unsloth! Для llama.cpp используйте —jinja > Unsloth Dynamic 2.0 обеспечивает превосходную...
Qwen3-Coder-480B-A35B-Instruct-FP8
> [!NOTE] > Включает исправления шаблона чата Unsloth! Для llama.cpp используйте —jinja > Unsloth Dynamic 2.0 обеспечивает превосходную...
DeepSeek-Prover-V2-671B-GGUF
Unsloth Dynamic 2.0 обеспечивает превосходную точность и превосходит другие ведущие методы количественного анализа. Мы представляем DeepSeek-Prover-V2, модель большого...
QWQ-32B-FP8
Результаты тестов в следующей таблице основаны на тесте MMLU. Чтобы ускорить тест, мы не позволяем модели генерировать слишком...
Mistral-Nemo-Instruct-2407-vllm-fp8
FP8 (F8_E4M3) квантованная версия Mistral-Nemo-Instruct-2407 с 512 эпохами. Протестировано на vLLM 0.5.3, но вам нужен этот патч, чтобы...
Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-NVFP4-MLP-FP8KV
Квантованная версия Jackrong/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled — модель, ориентированная на рассуждения, основанная на Claude 4.6 Opus. Квантование с использованием NVIDIA ModelOpt...
Qwen3-Coder-Next-FP8
Чтобы запустить Qwen3-Coder-Next локально — прочтите наше руководство! Unsloth Dynamic 2.0 обеспечивает превосходную точность и превосходит другие ведущие...
Meta-Llama-3.1-8B-Instruct-FP8-dynamic
— Архитектура модели: Meta-Llama-3.1 — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Весовое квантование:...
MiniMax-M2.7-PrismaQuant-3.20bit-vllm
Квантование смешанной точности с совместной экспертной обрезкой. Подходит для MoE с параметром 228 B в 90 ГБ на...