GLM-5.2-NVFP4
Квантование NVFP4 (4-битное) zai-org/GLM-5.2, созданное с помощью NVIDIA TensorRT Model Optimizer 0.44.0. Экспертные FFN MoE (маршрутизируемые + общие)...
Квантование NVFP4 (4-битное) zai-org/GLM-5.2, созданное с помощью NVIDIA TensorRT Model Optimizer 0.44.0. Экспертные FFN MoE (маршрутизируемые + общие)...
Это репозиторий MTP. Спекулятивное декодирование MTP предназначено для более быстрой генерации. Оценка квантов приведена ниже. >MoQ (смесь квантов)...
> Примечание во время выполнения: этот квант был создан и протестирован с помощью вилки ikllama.cpp от ikawrakow. Он...
— Содержание — Обзор модели — Разрядность модели — Производительность модели — Краткое руководство — Цитирование — Базовая...
MLX-квантование смешанной точности NVIDIA Nemotron-3-Super-120B-A12B — гибридная архитектура Mamba2 + MoE + Attention. Эта модель обеспечивает производительность класса...
Этот репозиторий содержит официальную 4-битную квантованную версию модели Qwen3-14B с использованием калиброванной версии метода SINQ (Sinkhorn-Normalized Quantization). SINQ...
Этот репозиторий содержит официальную 3-битную квантованную версию модели Qwen3-32B с использованием метода SINQ (Sinkhorn-Normalized Quantization), как представлено в...
Эта модель была квантована из fdtn-ai/Foundation-Sec-8B-Instruct в 8-битную (Q80) контрольную точку GGUF с использованием llama.cpp. Он сохраняет специализацию...
Это квантованная FP8 версия nvidia/NVIDIA-Nemotron-Nano-9B-v2, оптимизированная для эффективного вывода со значительным сокращением памяти при сохранении качества модели. —...
Иматричное квантование Llama.cpp CohereForAI/c4ai-command-r-plus-08-2024 Исходная модель: CohereForAI/c4ai-command-r-plus-08-2024 Исходный тип dtype: FP16 (float16) Квантование: llama.cpp b3645 Набор данных IMatrix:...