DeepSeek-V4-Flash-MLX-Q2.8-INF
— Вывод текста: ~30 токенов/с @ 2000 токенов ~95,49 ГиБ (отладочная сборка) Q2.8-INF использует независимый от данных метод...
Метка: quantized
gemma-4-31B-it-OptiQ-4bit
> Создан на основе mlx-optiq, собственного набора инструментов MLX для квантования, точной настройки и обслуживания LLM локально на...
DeepSeek-V4-Flash-MLX-Q2-mixed-gs128-affine
— Базовая модель: deepseek-ai/DeepSeek-V4-Flash — Исходная версия: 6e763230a9d263eca2023f1d4a5ce1bfe126cf48 — Архитектура: DeepseekV4ForCausalLM — Тип модели: deepseekv4` — Ветка инструментов:...
Qwen3.6-27B-abliterated-GGUF
Квантование GGUF для wangzhang/Qwen3.6-27B-удалено, Qwen3.6-27B с подавлением отказа на втором проходе (10/100 отказов, 15/15 жесткого соответствия, совокупный KL...
Qwen3.6-35B-A3B-UD-Q8_K_XL-mlx
8-битное базовое квантование смешанной точности Qwen/Qwen3.6-35B-A3B для Apple Silicon с использованием стратегии квантования Unsloth Dynamic через mlx-node. Проведено...
Qwen3.6-35B-A3B-UD-Q2_K_XL-mlx
2-битное базовое квантование смешанной точности Qwen/Qwen3.6-35B-A3B для Apple Silicon с использованием стратегии квантования Unsloth Dynamic через mlx-node. Проведено...
Qwen3.6-35B-A3B-oQ2
— Квантование: oQ2 (смешанная точность, управляемая чувствительностью, размер группы = 64) — Формат: MLXsafetensors — Совместимость с:** mlx-lm,...
MiniMax-M2.7-NVFP4
Квантование MiniMaxAI/MiniMax-M2.7 высокого качества NVFP4 для графических процессоров NVIDIA Blackwell. 5000 калибровочных образцов в 5 различных наборах данных....
gemma-4-E4B-Gemini-3.1-Pro-Reasoning-Distill-GGUF
Этот репозиторий содержит файлы моделей формата GGUF для gemma-4-E4B-Gemini-3.1-Pro-Reasoning-Distill от Ayodele01. Эти модели были скомпилированы и квантованы с...
NVIDIA-Nemotron-3-Super-120B-A12B-MLX-Q4.5
См. NVIDIA-Nemotron-3-Super-120B-A12B MLX в действии – демонстрационное видео – Одиночный вывод ~49,6 токенов/с при 1000 токенов – Пакетный...