🤗 Обнимающее лицо | 🤖 ModelScope | 🐙 Скоро появится ссылка на опыт ~ Представляем Ring-2.5-1T: первую в мире модель мышления с триллионом параметров с открытым исходным кодом, основанную на гибридной архитектуре линейного внимания. Важным шагом на пути к универсальным ИИ-агентам мы масштабируем гибридное линейное внимание на этапе предварительного обучения и RL. Наше эффективное линейное внимание 1:7 MLA + Lightning повышает скорость мышления и исследования, а расширенное обучение RL способствует глубокому мышлению и выполнению долгосрочных задач. По сравнению с ранее выпущенным Ring-1T, Ring-2.5-1T демонстрирует существенные улучшения по трем ключевым направлениям: эффективность генерации, глубина рассуждений и возможности выполнения долгосрочных задач: Эффективность генерации: используя механизм линейного внимания с высоким коэффициентом, Ring-2.5-1T снижает накладные расходы на доступ к памяти более чем в 10 раз и увеличивает пропускную способность генерации более чем в 3 раза для последовательностей, превышающих 32 тыс. токенов, что делает его особенно подходящим для глубокого мышления и долгосрочного планирования. выполнение задачи. Глубокое мышление: развитие RLVR путем введения плотных вознаграждений для обеспечения обратной связи о строгости процесса рассуждения, что позволяет Ring-2.5-1T…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: inclusionAI
Теги: bailing_hybrid, conversational, custom_code, compressed-tensors
Лайков: 234 | Загрузок: 15,930
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
