Tulu — это серия языковых моделей, которые обучены действовать как полезные помощники. Tulu V2.5 — это серия моделей, обученных с использованием DPO и PPO, начиная с пакета Tulu 2. Эта модель обучается на наборе данных UltraFeedback (с использованием оценок по каждому аспекту/детализации для принятия решений о выборе и отклонении) с использованием PPO. Мы использовали RM 70B, обученный на наборе данных UltraFeedback, а затем использовали подсказки UltraFeedback во время обучения PPO. Для получения более подробной информации прочтите статью: Распаковка DPO и PPO: распутывание лучших практик обучения на основе обратной связи о предпочтениях. — Тип модели: одна модель, принадлежащая набору настроенных RLHF моделей чата на основе общедоступных, синтетических и созданных человеком наборов данных. — Язык(и) (NLP): английский. — Лицензия: Apache 2.0. — Точная настройка на основе модели: Meta-llama/Llama-2-13b-hf. — Репозиторий: https://github.com/allenai/open-instruct. — Набор данных: данные, используемые для обучения этой модели, можно найти здесь, в частности разделение ультраобратной связи на аспекты. Использовались только подсказки. — Семейство моделей: коллекцию связанных моделей можно найти здесь. — Модель вознаграждения. Модель вознаграждения, используемая во время обучения PPO, можно найти здесь, а данные, используемые для ее обучения, — здесь, в частности…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: allenai
Теги: llama, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 79
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
