OLMo 2 7B Instruct, ноябрь 2024 г. — это постобученный вариант модели OLMo-2 7B от ноября 2024 г., который прошел контролируемую тонкую настройку на специальном для OLMo варианте набора данных Tülu 3, дальнейшее обучение DPO на этом наборе данных и, наконец, обучение RLVR с использованием этих данных. Tülu 3 предназначен для решения самых современных задач, помимо чата, таких как MATH, GSM8K и IFEval. Более подробную информацию можно найти в статье OLMo 2 (готовится к печати) или Tülu 3! OLMo — это серия открытых языковых моделей, предназначенная для изучения языковых моделей. Эти модели обучаются на наборе данных Dolma. Мы публикуем весь код, контрольные точки, журналы (скоро) и связанные с ними подробности обучения. Основные модели, выпущенные в этом пакете, включают следующее: — Тип модели: модель, обученная на сочетании общедоступных, синтетических и созданных человеком наборов данных. — Язык(и) (NLP): преимущественно английский — Лицензия: Apache 2.0 — Точная настройка на основе модели: allenai/OLMo-2-7B-1124-DPO — Страница проекта: https://allenai.org/olmo — Репозитории: — Базовый репозиторий (обучение, вывод, точная настройка и т. д.): https://github.com/allenai/OLMo — Оценочный код: https://github.com/allenai/olmes — Дальнейшая тонкая настройка…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: allenai
Теги: olmo2, conversational, en, endpoints_compatible
Лайков: 47 | Загрузок: 41
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
