Все данные MetaMathQA дополняются обучающими наборами GSM8K и MATH. Ни одна из дополненных данных не входит в тестовый набор. Вы можете проверить исходный вопрос в мета-математике/MetaMathQA`, каждый элемент взят из набора поездов GSM8K или MATH. MetaMath-Mistral-7B полностью оптимизирован для наборов данных MetaMathQA и основан на мощной модели Mistral-7B. Мы рады видеть, что использование наборов данных MetaMathQA и изменение базовой модели с llama-2-7B на Mistral-7b может повысить производительность GSM8K с 66,5 до 77,7. Для более точной настройки Мистраля-7Б я бы предложил использовать меньшую скорость обучения (обычно от 1/5 до 1/10 от lr для LlaMa-2-7B) и оставить без изменений другие параметры обучения. Дополнительные сведения об обучении и сценарии можно увидеть по адресу https://github.com/meta-math/MetaMath «Ниже приведена инструкция, описывающая задачу. » «Напишите ответ, который соответствующим образом завершает запрос.nn» «### Инструкция:n{instruction}nn### Ответ: Давайте подумаем шаг за шагом.» где вам нужно использовать вопрос запроса для замены {instruction}. В https://huggingface.co/akjindal53244/Arithmo-Mistral-7B есть еще один интересный репозиторий об Arithmo-Mistral-7B, где они объединяют наш набор данных MetaMathQA и наборы данных MathInstruct для…
Модальности:
Генерация текста
Области применения:
Математика
Задача: Генерация текста
Автор: meta-math
Теги: mistral, text-generation-inference, endpoints_compatible
Лайков: 96 | Загрузок: 6,161
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
