🤗 Обнимающее лицо | 📔 Технический отчет | 📰 Блог | Поиграйтесь! 🗨️ Xiaomi MiMo Studio 🎨 API-платформа Xiaomi MiMo MiMo-V2-Flash — это языковая модель Mixture-of-Experts (MoE) с 309B общих параметров и 15B активных параметров. Разработанный для высокоскоростных рассуждений и агентских рабочих процессов, он использует новую гибридную архитектуру внимания и многотокенное прогнозирование (MTP) для достижения высочайшей производительности при значительном сокращении затрат на логические выводы. > [!ВАЖНО] > Мы также открываем исходный код трехуровневых весов MTP для содействия исследованиям сообщества. ———— | :———————- | :————- | :—————-: | :————-: | :—————-: | :———————: | > * означает, что модель может не следовать подсказке или формату. Следуя нашей парадигме постобучения с MOPD и агентным RL, модель достигает рассуждений SOTA и агентной производительности. MiMo-V2-Flash использует конвейер постобучения, предназначенный для максимизации рассуждений и агентских возможностей за счет инновационных стратегий дистилляции и обучения с подкреплением. Мы представляем «Определение политики с участием нескольких преподавателей» (MOPD), новую парадигму, которая формулирует дистилляцию знаний как…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: XiaomiMiMo
Теги: mimo_v2_flash, conversational, custom_code, eval-results, fp8
Лайков: 638 | Загрузок: 536,974
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
