Это модель Nanbeige4.1-3B, преобразованная в формат MLX с 4-разрядным квантованием (аффин, размер группы=64) для эффективного вывода на Apple Silicon. Это самый маленький и быстрый** вариант — идеально подходит для чувствительных к скорости и ограниченных в памяти вариантов использования. > Другие варианты: > — andrevp/Nanbeige4.1-3B-MLX-8bit — Лучший баланс качества — 4-бит против BF16: иногда принимает немного разные пути рассуждения, но приходит к одним и тем же правильным ответам. Выход вызова инструмента на 100% идентичен во всех вариантах. — Рекомендация: 4-бит лучше всего подходит для скорости и памяти. 8 бит — это сладкая точка для качества. BF16 предназначен для исследований и бенчмаркинга, где важно точное воспроизведение. — Источник: Nanbeige/Nanbeige4.1-3B — Разработчик: Nanbeige (BOSS ZHIPIN) — Архитектура: LlamaForCausalLM (параметры 4B) — Лицензия: Apache 2.0 (такая же, как и оригинальная модель) Эта модель…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: andrevp
Теги: mlx, llama, llm, nanbeige, quantized, 4bit, reasoning, tool-calling
Лайков: 4 | Загрузок: 140
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
