facebook/MobileLLM-R1.5-950M

🤗 Обнимающее лицо&nbsp&nbsp | &nbsp&nbsp 📑 Бумага &nbsp&nbsp | &nbsp&nbsp 💻 Код &nbsp&nbsp MobileLLM-R1.5 — это обновленная версия MobileLLM-R1, основным улучшением которой является интеграция анализа знаний в соответствии с политикой [1,2]. Мы обнаружили, что этот метод особенно эффективен при его применении в качестве заключительного этапа процесса постобучения для небольших моделей, что приводит к значительному повышению производительности. Используя те же наборы данных SFT для рассуждений, которые использовались для MobileLLM-R1, включая OpenMathReasoning, OpenScienceReasoning-2 и OpenCodeReasoning-2, MobileLLM-R1.5 выполняет дополнительные KD в соответствии с политикой, настроенные на основе окончательной модели MobileLLM-R1. В этот выпуск входят три модели: — MobileLLM-R1.5-140M — MobileLLM-R1.5-360M — MobileLLM-R1.5-950M > Примечание. Эти модели не являются моделями чата общего назначения. Это модели с контролируемой точной настройкой (SFT), специально обученные для решения математических, программных (Python, C++) и научных задач. — Применение KD по политике в качестве заключительного этапа после обучения дает существенный прирост точности (т. е. от 10 до 35 баллов) при выполнении сложных тестов рассуждения. Например, применение его к MobileLLM-R1-950M увеличивает его оценку AIME с 15,5 до 39,9 в…

Модальности:
Генерация текста

Области применения:
Диалог / чат

Задача: Генерация текста
Автор: facebook
Теги: llama4_text, facebook, meta, mobilellm, conversational, en, endpoints_compatible
Лайков: 20  |  Загрузок: 314

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.