Qwen3.6-35B-A3B-OptiQ-4bit
4-битный квант MLX смешанной точности, созданный mlx-optiq — набором инструментов квантования с учетом чувствительности для Apple Silicon. Превосходит...
Метка: quantized
Qwen3.5-27B-HLWQ-Q5
> [!ВАЖНО] > Уведомление об именовании (10 апреля 2026 г.). Метод «HLWQ», используемый в этой модели, переименовывается в...
Qwen3.5-122B-A10B-MXFP4
Квантованная версия MXFP4 Qwen3.5-122B-A10B (122B параметров, 256 экспертов, гибрид Gated DeltaNet + Gated Attention). Только экспертные веса MLP...
Step-3.5-Flash-NVFP4
Квантованная NVFP4 версия Stepfun-ai/Step-3.5-Flash, модели рассуждений пограничного уровня с открытым исходным кодом от StepFun с общим количеством 196,81...
GLM-5-MLX-4.8bit
Эта модель была заменена более качественной версией GLM5.1-Q4.8-INF, доступной здесь — Одиночный вывод ~ 16,6 токенов/с при 1000...
DeepSeek-V3.2-345B-W3A16
> [!TIP] > Поддержите эту работу → · X · GitHub · Документ REAP · Cerebras REAP 𓌳...
Seed-OSS-36B-Instruct-unsloth-MagicQuant-Hybrid-GGUF
(УСТАРЕЛО — часть MagicQuant v1.0, имевшая существенные недостатки. Используйте версию 2.0, готовую к производству) > MagicQuant — это...
DeepSeek-R1-0528-Qwen3-8B-GGUF
— Создатель модели: deepseek-ai — Исходная модель: deepseek-ai/DeepSeek-R1-0528-Qwen3-8B MaziyarPanahi/DeepSeek-R1-0528-Qwen3-8B-GGUF содержит файлы моделей формата GGUF для deepseek-ai/DeepSeek-R1-0528-Qwen3-8B. GGUF —...
Qwen3-8B-GGUF
MaziyarPanahi/Qwen3-8B-GGUF содержит файлы моделей формата GGUF для Qwen/Qwen3-8B. GGUF — это новый формат, представленный командой llama.cpp 21 августа...
Qwen2.5-1.5B-Instruct-GGUF
— Создатель модели: Qwen — Исходная модель: Qwen/Qwen2.5-1.5B-Instruct MaziyarPanahi/Qwen2.5-1.5B-Instruct-GGUF содержит файлы модели формата GGUF для Qwen/Qwen2.5-1.5B-Instruct. GGUF —...