MobileMoE — это семейство языковых моделей Mixture-of-Experts (MoE) на устройстве с субмиллиардными активными параметрами, предназначенных для продвижения границы Парето по эффективности качества для LLM на устройстве, включая три модельных шкалы (S/M/L): 0.3B/0 .5B/0.9B активных параметров (всего 1.3B/2 .8B/5.3B), с Для подробного технического отчета📝: MobileMoE: Scaling On-Device Mixture of Experts !MobileMoE устанавливает новую границу Парето для LLMS на устройстве MobileMoE устанавливает новую границу Парето Средняя точность эталона, рассчитанная по 14 эталонам, охватывающим здравый смысл, знания, науку, понимание и рассуждения, строится в сопоставлении с (a) вычислением вывода для каждого токена Finf = 2Nact (GFLOPs) и (b) общими параметрами Ntotal (B); в (b) метки оси x показывают общие параметры (B) | прогнозируемую память INT4 (GB). Точность показана для моделей, настроенных по инструкции. — Новый рубеж Парето для LLM на устройстве. В 14 основополагающих тестах MobileMoE соответствует или превосходит ведущие LLM с плотностью на устройстве при 2–4раза меньшем FLOP, а также соответствует или превосходит современный MoE OLMoE-1B-7B с до 60% меньшим количеством параметров. — Архитектура, основанная на законе о масштабировании. Архитектура является производной…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: facebook
Теги: mobilemoe, facebook, meta, mixture-of-experts, MoE, on-device, quantization, int4
Лайков: 4 | Загрузок: 98
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
