> Созданный с помощью mlx-optiq, набор инструментов MLX-native для квантования, точной настройки и обслуживания LLM локально на Apple Silicon, без PyTorch и без облака. Попробуйте Lab · All OptiQ quants · Docs A mixed-precision MLX quant of poolside/Laguna-XS-2.1, редкую модель рассуждений смеси экспертов, построенную для кодирования и агентной работы. Послойная битовая ширина происходит от прохождения чувствительности KL-дивергенции по шестидоменному калибровочному миксу (проза · рассуждение · код · агент · вызов инструмента · инструкции по ограничению): чувствительные слои получают больше битов, надежные — меньше, в среднем ~ 4,5 бит на вес (20 ГБ на диске). Запас mlx-lm не имеет класса laguna. OptiQ поставляет встроенный в mlx порт архитектуры Laguna (сигмоид MoE с общим экспертом, QK-norm, GLM с частичным вращением, softplus attention gate, гибридное полное/скользящее внимание с двойным RoPE), который регистрируется с mlx-lm при импорте optiq. Установите и импортируйте его перед загрузкой: Laguna — это модель рассуждений. Он думает, прежде чем ответить, поэтому дайте ему щедрые макстокены. Для OpenAI Anthropic-совместимого сервера со смешанным кэшем KV, исцелением вызовов инструментов и оперативным кэшированием используйте optiq serve`: Следуя именованию, которое llama.cpp использует для своих смешанных квантов (Q4KM и…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: mlx-community
Теги: mlx, laguna, laguna-xs-2.1, quantized, mixed-precision, optiq, apple-silicon, conversational
Лайков: 3 | Загрузок: 375
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
