gemma-2b-GGUF
MaziyarPanahi/gemma-2b-GGUF содержит файлы моделей формата GGUF для google/gemma-2b. Спасибо TheBloke за подготовку замечательного README о том, как использовать...
Метка: quantized
Tiny-Vicuna-1B-GGUF
Файлы квантовой модели GGUF для Tiny-Vicuna-1B из Jiayi-Pan TinyLLama 1.1B, точно настроенные с помощью набора данных WizardVicuna. Легко...
gemma-4-12B-it-OptiQ-4bit
4-битный квант MLX смешанной точности, созданный mlx-optiq, набором инструментов квантования с учетом чувствительности для Apple Silicon. Оценка +6,40...
Mellum2-12B-A2.5B-Thinking-GGUF
Квантованная GGUF-версия JetBrains/Mellum2-12B-A2.5B-Thinking для использования с llama.cpp. > ⚠️ Требуется llama.cpp с поддержкой архитектуры Mellum. Этого еще нет...
Qwen3.6-27B-Claude-Opus-Sonnet-DistilledV2-MTP-GGUF
GGUF квантовал выпуск квинтэссенции рассуждений Claude Opus/Sonnet на Qwen3.6-27B со встроенной поддержкой спекулятивного декодирования MTP в llama.cpp. Ключевые...
DeepSeek-V4-Flash-GGUF
> ⚠️ Ранний доступ — для запуска требуется bati.cpp. DeepSeek V4-Flash был выпущен > 24 апреля 2026 г....
Qwen3.6-27B-Cerebellum-GGUF
Квантование Qwen 3.6 27B смешанной точности с учетом абляции. Размер файла 12 ГБ, степень недоумения 7,034, 181 переопределение...
Qwen3.6-35B-A3B-NVFP4
Модель mmangkad/Qwen3.6-35B-A3B-NVFP4 представляет собой квантованную версию модели Qwen3.6-35B-A3B от Alibaba, авторегрессионной языковой модели, использующей оптимизированную архитектуру преобразователя. Более...
GLM-5.1-MLX-4.8bit-INF
— Одиночный вывод ~14,1 токена/с при 1000 токенов (отладочная сборка) — Пакетный вывод ~20,4 общего токена/с для двух...
Qwen3.5-397B-A17B-NVFP4
Qwen3.5-397B-A17B-NVFP4 — это квантованная NVFP4 версия Qwen/Qwen3.5-397B-A17B, модели языка видения «Смесь экспертов» с 397 параметрами, 17 B активных...