Эта модель представлена в статье «Каждый шаг развивается: масштабирование обучения с подкреплением для модели мышления триллионного масштаба». Официальный репозиторий кода доступен по адресу: https://github.com/inclusionAI/Ring-V2. 🤗 Обнимающее лицо   |   🤖 ModelScope   |   🚀 Опыт прямо сейчас Это высокопроизводительная модель мышления, глубоко оптимизированная на базе Ling-flash-2.0. Как и Ling-flash-2.0, Ring-flash-2.0 имеет в общей сложности 100B параметров, из которых на каждый вывод активируется только 6,1B. Наш независимо разработанный алгоритм Icepop успешно решил проблему нестабильности обучения при обучении с подкреплением (RL) для MoE LLM после холодного запуска Long-CoT SFT, позволяя постоянно улучшать сложные логические способности модели на протяжении расширенных циклов обучения RL. Ring-flash-2.0 демонстрирует значительные достижения в ряде сложных тестов, включая математические соревнования, генерацию кода и логические рассуждения. Его производительность не только превосходит производительность моделей SOTA с плотной плотностью при параметрах 40B, но также конкурирует с более крупными моделями MoE с открытым исходным кодом и API-интерфейсами высокопроизводительных моделей мышления с закрытым исходным кодом. Мы выбрали репрезентативные модели мышления с открытым исходным кодом…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: inclusionAI
Теги: bailing_moe, conversational, custom_code
Лайков: 100 | Загрузок: 49
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
