Ring-lite — это легкая программа LLM MoE (Mixture of Experts) с полностью открытым исходным кодом, предназначенная для решения сложных логических задач. Он построен на общедоступной модели Ling-lite-1.5, которая имеет 16,8 млрд параметров и 2,75 млрд активированных параметров. Мы используем совместный конвейер обучения, сочетающий дистилляцию знаний с обучением с подкреплением, достигая производительности, сравнимой с современными (SOTA) моделями рассуждения небольшого размера на сложных тестах (AIME, LiveCodeBench и GPQA-Diamond), активируя при этом только одну треть их параметров. [20250704] Ring-lite-0704: мы обновляем модель Ring-lite, которая поддерживает два различных режима рассуждения: «думать дальше» и «думать дальше». Для комплексной оценки качества наших моделей рассуждений мы внедрили автоматические тесты для оценки их производительности, включая математику, код и естественные науки. Чтобы сравнить производительность Ring-lite-0704 и Ring-lite-0616, мы оцениваем две модели по более широкому спектру тестов рассуждения и общего назначения, включая следование инструкциям, вызов функций и творческое письмо. Недавно обновленная модель Ring-lite теперь поддерживает два различных режима рассуждения: «думать дальше» и «думать дальше». Эти режимы…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: inclusionAI
Теги: bailing_moe, conversational, custom_code, zh, en
Лайков: 49 | Загрузок: 52
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
