Мы представляем MiniMax-M1, первую в мире крупномасштабную модель рассуждения с гибридным вниманием и открытым весом. MiniMax-M1 основан на гибридной архитектуре Mixture-of-Experts (MoE) в сочетании с механизмом мгновенного внимания. Модель разработана на основе нашей предыдущей модели MiniMax-Text-01, которая содержит в общей сложности 456 миллиардов параметров, из которых 45,9 миллиардов параметров активируются на каждый токен. В соответствии с MiniMax-Text-01 модель M1 изначально поддерживает длину контекста в 1 миллион токенов, что в 8 раз превышает размер контекста DeepSeek R1. Кроме того, механизм молниеносного внимания в MiniMax-M1 обеспечивает эффективное масштабирование вычислений во время тестирования. Например, по сравнению с DeepSeek R1, M1 потребляет 25% FLOP при длине генерации 100 тыс. токенов. Эти свойства делают M1 особенно подходящим для сложных задач, требующих обработки длинных входных данных и интенсивного мышления. MiniMax-M1 обучается с использованием крупномасштабного обучения с подкреплением (RL) для решения различных задач, начиная от традиционных математических рассуждений и заканчивая изолированными реальными средами разработки программного обеспечения. Мы разрабатываем эффективную структуру масштабирования RL для M1, подчеркивая две перспективы: (1) Мы предлагаем CISPO, новый алгоритм, который…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: MiniMaxAI
Теги: minimax_m1, vllm, conversational, custom_code
Лайков: 690 | Загрузок: 63,195
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
