Это модель для статьи «MathGenie: генерация синтетических данных с обратным переводом вопросов для улучшения математического рассуждения LLM». Большие языковые модели (LLM) продемонстрировали большой потенциал в математических рассуждениях. Однако в этой области сохраняется разрыв в производительности между существующими моделями с открытым исходным кодом и моделями с закрытым исходным кодом, такими как GPT-4. В этой статье мы представляем MathGenie, новый метод генерации разнообразных и надежных математических задач из небольшого набора данных для решения проблем (обозначаемого как начальные данные). Мы дополняем достоверные решения наших исходных данных и обучаем модель обратного перевода, чтобы преобразовать расширенные решения обратно в новые вопросы. Впоследствии мы генерируем интегрированные в код решения для новых вопросов. Чтобы гарантировать правильность интегрированных в код решений, мы используем стратегию проверки решений, основанную на обосновании. Различные предварительно обученные модели, от 7B до 70B, обучаются на вновь отобранных данных для проверки эффективности предлагаемого метода дополнения, в результате чего создается семейство моделей, известное как MathGenieLM. Эти модели неизменно превосходят предыдущие модели с открытым исходным кодом по пяти репрезентативным математическим…
Модальности:
Генерация текста
Области применения:
Генерация кода Математика
Задача: Генерация текста
Автор: MathGenie
Теги: internlm2, feature-extraction, code, math, custom_code, en
Лайков: 10 | Загрузок: 45
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
