open-calm-7b-8bit
8-битная квантовая версия OpenCALM-7B от CyberAgent (под CC BY-SA 4.0). При использовании этой квантовой модели обязательно указывайте оригинал....
Метка: quantized
Qwen3.5-9B-GLM5.1-Distill-v1-i1-GGUF
взвешенные/матричные кванты https://huggingface.co/Jackrong/Qwen3.5-9B-GLM5.1-Distill-v1. Для удобного обзора и списка загрузки посетите нашу страницу модели для этой модели. статические кванты...
m51Lab-MiniMax-M2.7-REAP-139B-A10B-GGUF
Квантование GGUF dervig/m51Lab-MiniMax-M2.7-REAP-139B-A10B, первого общедоступного варианта MiniMax-M2.7 с сокращением REAP-40%. — 96 ГБ Apple Silicon (Mac Studio M4...
MiniMax-M2.5-UNCENSORED-JANG_2L
> Важно: в этой модели используется формат квантования JANG — эквивалент GGUF для MLX в Apple Silicon. В...
Qwen3-14B-NVFP4
Модель NVIDIA Qwen3-14B FP4 — это квантованная версия модели Qwen3-14B от Alibaba, которая представляет собой авторегрессионную языковую модель,...
Qwen3-0.6B-GGUF
MaziyarPanahi/Qwen3-0.6B-GGUF содержит файлы моделей формата GGUF для Qwen/Qwen3-0.6B. GGUF — это новый формат, представленный командой llama.cpp 21 августа...
Qwen2.5-7B-Instruct-GGUF
— Создатель модели: Qwen — Исходная модель: Qwen/Qwen2.5-7B-Instruct MaziyarPanahi/Qwen2.5-7B-Instruct-GGUF содержит файлы модели формата GGUF для Qwen/Qwen2.5-7B-Instruct. GGUF —...
Meta-Llama-3.1-70B-Instruct-IMat-GGUF
> [!NOTE] > Если вы ищете кванты до версии llama.cpp PR #8676, вы можете найти их здесь, в...
Eris_Remix_7B-GGUF-IQ-Imatrix
Если они вам понравились, ознакомьтесь с работой GGUF-IQ-Imatrix-Quantization-Script от FantasiaFoundry. Это расшифровывается как «Матрица важности» — метод, используемый...
gemma-2b-it-GGUF
— Создатель модели: google — Исходная модель: google/gemma-2b-it MaziyarPanahi/gemma-2b-it-GGUF содержит файлы моделей формата GGUF для google/gemma-2b-it. Спасибо TheBloke...