Сегодня исходный код Ling-flash-2.0 официально открыт! 🚀 После выпуска языковой модели Ling-mini-2.0 и модели мышления Ring-mini-2.0 мы открываем открытый исходный код третьего MoE LLM в рамках архитектуры Ling 2.0: Ling-flash-2.0, языковую модель с общим количеством 100 миллиардов параметров и 6,1 миллиарда активированных параметров (4,8 миллиарда без встраивания). Обученный на более чем 20Т токенах высококачественных данных, а также контролируемая тонкая настройка и многоэтапное обучение с подкреплением, Ling-flash-2.0 достигает производительности SOTA среди моделей с высокой плотностью данных при 40Б параметров, несмотря на активацию только ~6Б параметров. По сравнению с моделями MoE с более высокими параметрами активации/общих параметров, он также демонстрирует сильную конкурентоспособность. Примечательно, что он обеспечивает выдающуюся производительность в сложных рассуждениях, генерации кода и разработке внешнего интерфейса. Мы провели всестороннюю оценку возможностей рассуждения Ling-flash-2.0 и сообщили о хороших результатах в репрезентативных тестах: Рассуждение на основе междисциплинарных знаний: GPQA-Diamond, MMLU-Pro Продвинутое математическое рассуждение: AIME 2025, Omni-MATH, OptMATH (задачи расширенной математической оптимизации) Генерация сложного кода: LiveCodeBench v6, CodeForces-Elo Логическое рассуждение:…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: inclusionAI
Теги: bailing_moe, conversational, custom_code
Лайков: 31 | Загрузок: 520
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
