Tülu 3 — это ведущее семейство моделей обучения, предлагающее пакет после обучения с полностью открытыми исходными данными, кодом и рецептами, призванными служить всеобъемлющим руководством по современным методам. Это один из шагов более масштабного процесса обучения моделей с полностью открытым исходным кодом, таких как наши модели OLMo. Tülu 3 предназначен для решения самых современных задач, помимо чата, таких как MATH, GSM8K и IFEval. Обновление версии 3.1: новая версия нашей модели Tülu представляет собой усовершенствование только на заключительном этапе обучения RL. Мы перешли с PPO на GRPO (модель без вознаграждения) и провели дальнейшую настройку гиперпараметров, чтобы добиться существенного улучшения производительности по всем направлениям по сравнению с исходной моделью Tülu 3 8B, как показано в сравнении ниже: — Тип модели: модель, обученная на сочетании общедоступных, синтетических и созданных человеком наборов данных. — Язык(и) (NLP): преимущественно английский. — Лицензия: Лицензионное соглашение сообщества Llama 3.1. — Точно настроено на основе модели: allenai/Llama-3.1-Tulu-3-8B-DPO. — Учебный репозиторий: https://github.com/allenai/open-instruct. — Оценочный репозиторий: https://github.com/allenai/olmes. — Бумага: https://arxiv.org/abs/2411.15124 — Демо:…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: allenai
Теги: llama, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 39 | Загрузок: 7,140
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
