Meta-Llama-3.1-70B-Instruct-gptq-4bit
— биты: 4 — размер группы: 128 — уменьшение: true — staticgroups: false — sym: true — lmhead:...
Метка: 4bit
Meta-Llama-3.1-8B-Instruct-gptq-4bit
— биты: 4 — размер группы: 128 — descact: true — staticgroups: false — sym: true — lmhead:...
gemma-2-9b-it-gptq-4bit
Эта модель была квантована с использованием GPTQModel. — биты: 4 — размер группы: 128 — descact: false —...
MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-OptiQ-4bit
> Создан на основе mlx-optiq, собственного набора инструментов MLX для квантования, точной настройки и обслуживания LLM локально на...
Qwen3.6-27b-gptq-int4
> Квантование GPTQ INT4 Qwen/Qwen3.6-27B. > в 3 раза меньше. ~2,4× быстрее. Однопоточное измерение на том же оборудовании,...
Qwen3.5-397B-A17B-nvfp4
4-битная квантованная версия текстовой модели nvfp4 MLX из Qwen/Qwen3.5-397B-A17B. Части этой карты были скопированы или адаптированы из оригинальной...
Mistral-Nemo-Instruct-2407-gptq-4bit
— биты: 4 — размер группы: 128 — descact: true — staticgroups: false — sym: true — lmhead:...
Dolly_Shygmalion-6b-4bit-128g
Квантование GPTQ https://huggingface.co/TehVenom/Dolly_Shygmalion-6b. Использование этого репозитория: https://github.com/mayaeary/GPTQ-for-LLaMa/tree/gptj-v2. Модальности:Генерация текста Области применения:Диалог / чат Задача: Генерация текста Автор: Ancestral...
gpt-oss-20b-OptiQ-4bit
> Создан на основе mlx-optiq, собственного набора инструментов MLX для квантования, точной настройки и обслуживания LLM локально на...
gemma-4-31B-it-qat-OptiQ-4bit
> Создан на основе mlx-optiq, собственного набора инструментов MLX для квантования, точной настройки и обслуживания LLM локально на...