Qwen3.6-27B-Cerebellum-GGUF
Квантование Qwen 3.6 27B смешанной точности с учетом абляции. Размер файла 12 ГБ, степень недоумения 7,034, 181 переопределение...
Метка: quantized
Qwen3.6-35B-A3B-NVFP4
Модель mmangkad/Qwen3.6-35B-A3B-NVFP4 представляет собой квантованную версию модели Qwen3.6-35B-A3B от Alibaba, авторегрессионной языковой модели, использующей оптимизированную архитектуру преобразователя. Более...
GLM-5.1-MLX-4.8bit-INF
— Одиночный вывод ~14,1 токена/с при 1000 токенов (отладочная сборка) — Пакетный вывод ~20,4 общего токена/с для двух...
Qwen3.5-397B-A17B-NVFP4
Qwen3.5-397B-A17B-NVFP4 — это квантованная NVFP4 версия Qwen/Qwen3.5-397B-A17B, модели языка видения «Смесь экспертов» с 397 параметрами, 17 B активных...
Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-NVFP4-MLP-FP8KV
Квантованная версия Jackrong/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled — модель, ориентированная на рассуждения, основанная на Claude 4.6 Opus. Квантование с использованием NVIDIA ModelOpt...
Qwen3.5-2B-OptiQ-4bit
4-битный квант MLX смешанной точности, созданный mlx-optiq — набором инструментов квантования с учетом чувствительности для Apple Silicon. Превосходит...
Qwen3.5-35B-A3B-LM-MLX-5.5bit
— Одиночный вывод ~96 токенов/с при 1000 токенов — Вывод визуального представления: не включен в эту версию только...
Qwen3-14B-GGUF
MaziyarPanahi/Qwen3-14B-GGUF содержит файлы моделей формата GGUF для Qwen/Qwen3-14B. GGUF — это новый формат, представленный командой llama.cpp 21 августа...
Yi-Coder-9B-Chat-GGUF
— Создатель модели: 01-ai — Исходная модель: 01-ai/Yi-Coder-9B-Chat MaziyarPanahi/Yi-Coder-9B-Chat-GGUF содержит файлы модели формата GGUF для 01-ai/Yi-Coder-9B-Chat. GGUF —...
DeepSeek-Coder-V2-Lite-Instruct-IMat-GGUF
Иматричное квантование Llama.cpp deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct Исходная модель: deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp b3166 Набор данных IMatrix:...