Qwopus3.6-27B-v2-AWQ-4bit
Квантование Jackrong/Qwopus3.6-27B-v2 в формате AutoAWQ INT4 (W4A16), точная настройка Qwen 3.6 27B, основанная на рассуждениях Клода Опуса. Гибридная...
Метка: quantized
Qwen3.6-27B-MTP-IMAT-IQ4_XS-Q8nextn-GGUF
Плотный магистральный канал Qwen3.6 27B + встроенная головка NextN-MTP, квантованная для вывода с помощью одного графического процессора. —...
ZAYA1-8B-BNB
> Примечание. ZAYA1-8B использует собственную разреженную архитектуру MoE (ZayaForCausalLM), которая еще не поддерживается llama.cpp. Файлы GGUF будут добавлены...
DeepSeek-V4-Flash-MLX-Q2.8-INF
— Вывод текста: ~30 токенов/с @ 2000 токенов ~95,49 ГиБ (отладочная сборка) Q2.8-INF использует независимый от данных метод...
gemma-4-31B-it-OptiQ-4bit
> Создан на основе mlx-optiq, собственного набора инструментов MLX для квантования, точной настройки и обслуживания LLM локально на...
DeepSeek-V4-Flash-MLX-Q2-mixed-gs128-affine
— Базовая модель: deepseek-ai/DeepSeek-V4-Flash — Исходная версия: 6e763230a9d263eca2023f1d4a5ce1bfe126cf48 — Архитектура: DeepseekV4ForCausalLM — Тип модели: deepseekv4` — Ветка инструментов:...
Qwen3.6-27B-abliterated-GGUF
Квантование GGUF для wangzhang/Qwen3.6-27B-удалено, Qwen3.6-27B с подавлением отказа на втором проходе (10/100 отказов, 15/15 жесткого соответствия, совокупный KL...
Qwen3.6-35B-A3B-UD-Q8_K_XL-mlx
8-битное базовое квантование смешанной точности Qwen/Qwen3.6-35B-A3B для Apple Silicon с использованием стратегии квантования Unsloth Dynamic через mlx-node. Проведено...
Qwen3.6-35B-A3B-UD-Q2_K_XL-mlx
2-битное базовое квантование смешанной точности Qwen/Qwen3.6-35B-A3B для Apple Silicon с использованием стратегии квантования Unsloth Dynamic через mlx-node. Проведено...
Qwen3.6-35B-A3B-oQ2
— Квантование: oQ2 (смешанная точность, управляемая чувствительностью, размер группы = 64) — Формат: MLXsafetensors — Совместимость с:** mlx-lm,...