Представляем 🦣 MAmmoTH2, способный изменить правила игры в улучшении рассуждений больших языковых моделей (LLM) посредством инновационной настройки инструкций. Эффективно собрав 10 миллионов пар инструкция-ответ из веб-корпуса предварительного обучения, мы разработали модели MAmmoTH2, которые значительно повышают производительность в тестах рассуждения. Например, производительность MAmmoTH2-7B (Mistral) выросла с 11% до 36,7% в MATH и с 36% до 68,4% в GSM8K, и все это без обучения каким-либо конкретным предметным данным. Дальнейшее обучение работе с наборами данных по настройке общедоступных инструкций дает результат MAmmoTH2-Plus, устанавливающий новые стандарты в рассуждениях и тестах чат-ботов. Наша работа представляет собой экономически эффективный подход к получению крупномасштабных высококачественных обучающих данных, предлагая свежий взгляд на улучшение способностей к рассуждению LLM. Для получения более подробной информации обратитесь к https://huggingface.co/datasets/TIGER-Lab/WebInstructSub. Модели дорабатываются с помощью набора данных WEBINSTRUCT с использованием исходных моделей Llama-3, Mistral и Mistal в качестве базовых. Процедура обучения различается для разных моделей в зависимости от их размеров. Ознакомьтесь с нашей статьей для получения более подробной информации. Модели оцениваются с использованием открытых и…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TIGER-Lab
Теги: mixtral, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 14 | Загрузок: 8,144
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
