OLMoE-1B-7B-0125-Instruct, январь 2025 г. — это постобученный вариант модели OLMoE-1B-7B от января 2025 г., который прошел контролируемую точную настройку на специальном для OLMo варианте набора данных Tülu 3, дальнейшее обучение DPO на этом наборе данных и, наконец, обучение RLVR с использованием этих данных. Tülu 3 предназначен для решения самых современных задач, помимо чата, таких как MATH, GSM8K и IFEval. Более подробную информацию можно найти в статье OLMoE или в статье Tülu 3! OLMo — это серия открытых языковых моделей, предназначенная для изучения языковых моделей. Эти модели обучаются на наборе данных Dolma. Мы публикуем весь код, контрольные точки, журналы (скоро) и связанные с ними подробности обучения. Основные модели, выпущенные в этом пакете, включают следующее: — Тип модели: модель, обученная на сочетании общедоступных, синтетических и созданных человеком наборов данных. — Язык(и) (NLP): преимущественно английский. — Лицензия: Apache 2.0. — Точная настройка на основе модели: allenai/OLMoE-1B-7B-0125-DPO. — Страница проекта: https://allenai.org/olmo. — Репозитории: — Основной репозиторий (обучение, вывод, точная настройка и т. д.): https://github.com/allenai/OLMo. — Оценочный код: https://github.com/allenai/olmes — Дальнейшая доработка кода:…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: allenai
Теги: olmoe, conversational, en, endpoints_compatible
Лайков: 61 | Загрузок: 45,261
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
