Qwen2-1.5B-Instruct-GGUF
— Создатель модели: Qwen — Исходная модель: Qwen/Qwen2-1.5B-Instruct MaziyarPanahi/Qwen2-1.5B-Instruct-GGUF содержит файлы модели формата GGUF для Qwen/Qwen2-1.5B-Instruct. GGUF —...
Метка: quantized
Higgs-Llama-3-70B-IMat-GGUF
Исходная модель: bosonai/Higgs-Llama-3-70B Исходный тип dtype: FP32 (float32) Квантизация: llama.cpp b3091 Набор данных IMatrix: здесь — Файлы —...
Nous-Hermes-2-Mistral-7B-DPO-AWQ
— Создатель модели: NousResearch — Исходная модель: OpenHermes Mistral 2.5 7B DPO Модель до DPO была обучена на...
gemma-7b-it-GGUF
— Создатель модели: google — Исходная модель: google/gemma-7b-it MaziyarPanahi/gemma-7b-it-GGUF содержит файлы моделей формата GGUF для google/gemma-7b-it. Спасибо TheBloke...
gemma-2b-GGUF
MaziyarPanahi/gemma-2b-GGUF содержит файлы моделей формата GGUF для google/gemma-2b. Спасибо TheBloke за подготовку замечательного README о том, как использовать...
Tiny-Vicuna-1B-GGUF
Файлы квантовой модели GGUF для Tiny-Vicuna-1B из Jiayi-Pan TinyLLama 1.1B, точно настроенные с помощью набора данных WizardVicuna. Легко...
gemma-4-12B-it-OptiQ-4bit
4-битный квант MLX смешанной точности, созданный mlx-optiq, набором инструментов квантования с учетом чувствительности для Apple Silicon. Оценка +6,40...
Mellum2-12B-A2.5B-Thinking-GGUF
Квантованная GGUF-версия JetBrains/Mellum2-12B-A2.5B-Thinking для использования с llama.cpp. > ⚠️ Требуется llama.cpp с поддержкой архитектуры Mellum. Этого еще нет...
Qwen3.6-27B-Claude-Opus-Sonnet-DistilledV2-MTP-GGUF
GGUF квантовал выпуск квинтэссенции рассуждений Claude Opus/Sonnet на Qwen3.6-27B со встроенной поддержкой спекулятивного декодирования MTP в llama.cpp. Ключевые...
DeepSeek-V4-Flash-GGUF
> ⚠️ Ранний доступ — для запуска требуется bati.cpp. DeepSeek V4-Flash был выпущен > 24 апреля 2026 г....