GLM-4.7-Flash-MXFP4
Это квантование MXFP4 zai-org/GLM-4.7-Flash, модели Mixture-of-Experts 30B-A3B (30B всего, 3B активно). Эта модель использует формат MXFP4 (Microscaling FP4)...
Метка: quantized
Qwen3-235B-A22B-Thinking-2507-NVFP4
Модель NVIDIA Qwen3-235B-A22B-Thinking-2507 NVFP4 представляет собой квантованную версию модели Qwen3-235B-A22B-Thinking-2507 от Alibaba, которая представляет собой авторегрессионную языковую модель,...
Qwen3-4B-Instruct-2507-Unsloth-MagicQuant-Hybrid-GGUF
(УСТАРЕЛО — часть MagicQuant v1.0, имевшая существенные недостатки. Используйте версию 2.0, готовую к производству) > MagicQuant — это...
Qwen2.5-VL-7B-Instruct-FP8
Модель NVIDIA Qwen2.5-VL-7B-Instruct-FP8 представляет собой квантованную версию модели Qwen2.5-VL-7B-Instruct от Alibaba, которая представляет собой авторегрессионную языковую модель, использующую...
DeepSeek-R1-NVFP4-v2
Модель NVIDIA DeepSeek R1 FP4 v2 — это квантованная версия модели DeepSeek R1 компании DeepSeek AI, которая представляет...
gemma-3-27b-it-GGUF
— Создатель модели: google — Исходная модель: google/gemma-3-27b-it MaziyarPanahi/gemma-3-27b-it-GGUF содержит файлы моделей формата GGUF для google/gemma-3-27b-it. GGUF —...
phi-4-GGUF
— Создатель модели: microsoft — Исходная модель: microsoft/phi-4 MaziyarPanahi/phi-4-GGUF содержит файлы моделей формата GGUF для microsoft/phi-4. GGUF —...
Reflection-Llama-3.1-70B-IMat-GGUF
>[!ПРЕДУПРЕЖДЕНИЕ] >Потенциально нарушенные веса, см. https://x.com/mattshumer_/status/1832424499054309804?s=46 >После разрешения это сообщение исчезнет. Иматричное квантование Llama.cpp mattshumer/Reflection-Llama-3.1-70B Исходная модель: mattshumer/Reflection-Llama-3.1-70B...
calme-2.3-legalkit-8b-GGUF
— Создатель модели: MaziyarPanahi — Исходная модель: MaziyarPanahi/calme-2.3-legalkit-8b MaziyarPanahi/calme-2.3-legalkit-8b-GGUF содержит файлы модели формата GGUF для MaziyarPanahi/calme-2.3-legalkit-8b. GGUF —...
codegeex4-all-9b-IMat-GGUF
Исходная модель: THUDM/codegeex4-all-9b Исходный тип dtype: BF16 (bfloat16) Квантизация: https://github.com/ggerganov/llama.cpp/pull/8031 Набор данных IMatrix: здесь — Файлы — IMatrix...