Мы рады объявить об официальном выпуске Ring-mini-sparse-2.0-exp. В этой модели используется архитектура Mixture of Block Attention (MoBA), обеспечивающая высокоэффективный вывод без ущерба для производительности. Эта модель унаследована от Ling-mini-base-2.0, постоянно обучающегося на дополнительных 100 млрд токенов. Производительность модели на основе MoBA находится на одном уровне со стандартными моделями внимания того же размера (например, Ring-mini-v2). Кроме того, применяя 4-кратную оконную экстраполяцию на основе YaRN, мы увеличиваем длину контекста до 128 000 токенов, обеспечивая превосходную скорость вывода при выполнении задач, требующих длинных входных и выходных данных. Рисунок 1. Архитектура модели Ring-mini-sparse-2.0-exp Чтобы всесторонне оценить логические способности нашей модели, мы провели оценку пяти сложных тестов, охватывающих математику, программирование и естественные науки, сравнив ее с Ring-mini-2.0, Qwen3-8B-Thinking и GPT-OSS-20B-Medium. Архитектура MoBA демонстрирует производительность, сравнимую с моделями полного внимания softmax. Ring-mini-sparse-2.0-exp достигает высокой эффективности вывода за счет очень редкого внимания и архитектуры Mixture-of-Experts (MoE). В отличие от MoBA, использованного в Кими, наш подход…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: inclusionAI
Теги: bailing_moe, moe, conversational, custom_code, en
Лайков: 23 | Загрузок: 25
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
