Рисунок 1: Rho-1 предварительно обучен с помощью выборочного языкового моделирования (SLM). SLM повышает среднюю точность нескольких выстрелов в GSM8k и MATH более чем на 16%, достигая базовой производительности в 5–10 раз быстрее. — [2024/04/12] 🔥🔥🔥 Модели Rho-Math-v0.1 выпущены на 🤗 HuggingFace! — Rho-Math-1B и Rho-Math-7B достигают точности нескольких выстрелов 15,6% и 31,0% в наборе данных MATH соответственно, что соответствует DeepSeekMath только с 3% токенов предварительного обучения. — Rho-Math-1B-Interpreter — это первый LLM 1B, который обеспечивает точность более 40% по математике. — Rho-Math-7B-Interpreter достигает 52% в наборе данных MATH, используя только 69 тысяч выборок для точной настройки. — [2024/04/11] Выпущена статья и репозиторий Rho-1. Базовые модели Rho-1 используют выборочное языковое моделирование (SLM) для предварительного обучения, которое выборочно обучается на чистых и полезных токенах, соответствующих желаемому распределению. Рисунок 2: Верхняя часть: даже тщательно отфильтрованный корпус предварительной подготовки содержит шум на уровне токенов. Слева: предыдущее причинно-языковое моделирование (CLM) тренируется на всех токенах. Справа: предлагаемое нами селективное языковое моделирование (SLM) избирательно применяет потери к полезным и чистым токенам. Рисунок 3: Конвейер выборочного языкового моделирования. SLM оптимизирует производительность языковой модели за счет…
Модальности:
Генерация текста
Области применения:
Математика
Задача: Генерация текста
Автор: microsoft
Теги: mistral, nlp, math, en, text-generation-inference, endpoints_compatible
Лайков: 20 | Загрузок: 36
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
