> Созданный с помощью mlx-optiq, набор инструментов MLX-native для квантования, точной настройки и обслуживания LLM локально на Apple Silicon, без PyTorch и без облака. All OptiQ quants · Docs · Laguna family 117-billion-parameter coding model that runs in 9.4 GB of RAM on a Mac. Это 2-разрядный MLX-квант смешанной точности Laguna-S-2.1 у бассейна (235 ГБ при bf16), произведенный mlx-optiq. Это 41 ГБ на диске. В то время как он генерирует, только ~ 9,4 ГБ находится в ОЗУ: внимание, маршрутизатор, общий эксперт и края слоя остаются резидентными, а маршрутизируемые веса смеси экспертов передаются с SSD по мере их выбора маршрутизатором. Laguna-S — это редкая модель рассуждений о смеси экспертов, построенная для кодирования и агентов: 48 слоев, 256 экспертов с 10 активными на токен. Отвечая на просьбу написать Flappy Bird в виде одного HTML-файла, 2-разрядная модель создала полную, рабочую игру с гравитацией, столкновениями труб, подсчетом очков и перезапуском, все за один проход. Вот он, играя в игру, которую он написал: Полная игра, которую он сгенерировал, находится в этом репозитории как flappybird.html`. Откройте его в любом браузере. Для этого количества не опубликован показатель способности. На 2-бит на маршрутизируемых экспертах суть артефакта заключается в том, что 117 B MoE вообще работает на потребительском Apple Silicon и остается…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: mlx-community
Теги: mlx, laguna, laguna-s-2.1, quantized, 2bit, mixed-precision, optiq, static
Лайков: 3 | Загрузок: 165
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
