Huihui-Qwopus3.5-27B-v3-abliterated-HLWQ-Q5
CompressedTensors INT4 из Jackrong/Qwopus3.5-27B-v3 (удалено) через HLWQ (весовое квантование по Адамару-Ллойду) > Native vLLM. Ядро Марлина. Нулевой плагин....
Метка: quantized
gemma-2-2b-it-GGUF
— Создатель модели: google — Исходная модель: google/gemma-2-2b-it MaziyarPanahi/gemma-2-2b-it-GGUF содержит файлы моделей формата GGUF для google/gemma-2-2b-it. GGUF —...
gemma-4-E4B-it-OBLITERATED-GGUF
Это квантованные файлы формата GGUF для OBLITERATUS/gemma-4-E4B-it-OBLITERATED. Для удовлетворения различных требований к памяти и производительности предусмотрены следующие методы...
Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-v2-NVFP4
Квантованная версия Jackrong/Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-v2 со смешанной точностью. Эта контрольная точка сохраняет ту же гибридную архитектуру Qwen3.5 DeltaNet + softmax...
Qwen3.5-DeltaCoder-9B-GGUF
> v1.1-DPO — теперь с выравниванием DPO для улучшения правильности кода и самопроверки. > Если вы загрузили версию...
GLM-4.7-NVFP4
Модель NVIDIA GLM-4.7 NVFP4 — это квантованная версия модели ZAI GLM-4.7, которая представляет собой авторегрессионную языковую модель, использующую...
Qwen3.5-4B-OptiQ-4bit
> Оптимизирован для Apple Silicon с помощью mlx-optiq — квантование смешанной точности с учетом чувствительности, возможность повторного использования...
Kimi-K2.5-MLX-3.6bit
Эта модель была заменена более качественной версией Kimi-K2.6-Q3.5-INF, доступной здесь — Одиночный вывод ~ 26,82 токенов/с при 1000...
DeepSeek-V3.2-NVFP4
Модель NVIDIA DeepSeek-V3.2-NVFP4 представляет собой квантованную версию модели DeepSeek-V3.2 компании DeepSeek AI, авторегрессионной языковой модели, использующей оптимизированную архитектуру...
Qwen2.5-VL-7B-Instruct-NVFP4
Модель NVIDIA Qwen2.5-VL-7B-Instruct-FP4 представляет собой квантованную версию модели Qwen2.5-VL-7B-Instruct от Alibaba, которая представляет собой авторегрессионную языковую модель, использующую...