> SuperCorrect: контроль и исправление языковых моделей с помощью анализа ошибок > Лин Ян, Чжаочэнь Ю, Тяньцзюнь Чжан, Минкай Сюй, Джозеф Э. Гонсалес, Бин Цуй, Шуйчэн Янь > > Пекинский университет, Skywork AI, Калифорнийский университет в Беркли, Стэнфордский университет В этом репозитории представлена официальная реализация SuperCorrect — нового двухэтапного метода тонкой настройки, позволяющего повысить как точность рассуждений, так и способность к самокоррекции для LLM. Примечательно, что наша модель SupperCorrect-7B значительно превосходит мощный DeepSeekMath-7B на 7,8%/5,3% и Qwen2.5-Math-7B на 15,1%/6,3% в тестах MATH/GSM8K, достигая новой производительности SOTA среди всех моделей 7B. 🚨 В отличие от других LLM, мы объединяем LLM с нашим заранее определенным иерархическим шаблоном мышления (Буфер мысли (BoT)) для проведения более продуманных рассуждений, чем обычный CoT. Следует отметить, что наши методы оценки основаны на способностях LLM к чисто математическому рассуждению, а не на использовании других методов программирования, таких как PoT и ToRA. 🚨 Для более краткого и ясного изложения мы опускаем некоторые XML-теги. Поскольку наша текущая модель основана на серии Qwen2.5-Math, для моделей Qwen2.5-Math необходимы преобразователи >=4.37.0`. Последняя версия…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: BitStarWalkin
Теги: qwen2, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 11 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
