Веб-сайт Prism ML | Информационный документ | Демо и примеры | Discord > в 7,1 раз меньше, чем FP16 | В 4,8 раза быстрее на M4 Pro | 50 ток/с на iPhone | работает на Mac, iPhone, iPad — 1,05 ГиБ (1,13 ГБ), упакованный 2-битный размер (по сравнению с 8,04 ГБ FP16) — работает на любом Mac или iPhone — троичные веса {-1, 0, +1} для встраивания, проекций внимания, проекций MLP и головы LM — средний балл 70,7 в тесте по 6 категориям — конкурентоспособен с моделями 4B полной точности — встроенный MLX формат с размером группы 128 и масштабированием FP16. Технический документ. Демонстрационный репозиторий — примеры обслуживания, сравнительного анализа и интеграции Bonsai. — Discord — поддержка и обновления сообщества. — Ядра: MLX (Apple Silicon) · mlx-swift (iOS/macOS). — 2-битный формат поддерживается «из коробки». Каждый вес принимает значение от {-1, 0, +1}, с одной общей шкалой FP16 на группу. 128 весов: теоретико-информационная стоимость составляет log2(3) ≈ 1,585 бит на вес плюс групповые шкалы FP16 (16 бит на 128 весов), для теоретического минимума ~ 1,71 бит/вес. В этом выпуске используется 2-битный формат MLX, в котором каждое троичное значение хранится в 2 битах плюс групповые шкалы, что обеспечивает эффективный коэффициент ~2,125 бит/вес. Оценено с помощью EvalScope v1.4.2 +…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: prism-ml
Теги: mlx, qwen3, ternary, 1.58-bit, apple-silicon, on-device, prismml, bonsai
Лайков: 8 | Загрузок: 603
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
