Эта модель представляет собой новую доработку DPO нашего нового открытого набора данных argilla/distilabel-intel-orca-dpo-pairs на модели mlabonne/Marcoro14-7B-slerp. Вы можете найти дополнительную информацию о наборе данных «distilabeled», используемом в этом репозитории argilla/distilabeled-Hermes-2.5-Mistral-7B, и посетить сайт distilabel. Как и в случае с Notus, нам нужен был воспроизводимый рецепт для проверки влияния качества данных. И нам повезло, что в открытом сообществе так много замечательных людей, которые предлагают воспроизводимые, простые в использовании сценарии и рецепты тренировок. На этот раз Максим Лабонн поделился Colab для тонкой настройки OpenHermes с помощью DPO и исходного набора данных Intel, отлично! Мы только что обновили базовую модель до mlabonne/Marcoro14-7B-slerp и применили тот же рецепт набора данных, который мы использовали для argilla/distilabeled-Hermes-2.5-Mistral-7B: для сравнительного анализа мы использовали знаменитый тест «Nous» или «Teknium». Ниже вы можете найти обзор, в том числе наш первый эксперимент с менее амбициозной фильтрацией набора данных (удаление связей и оценка> 5). Для запуска теста мы использовали еще одну замечательную работу Максима: LLM AutoEval, посмотрите! Мы хотели бы поблагодарить удивительное открытое сообщество и, в частности: команду Intel за публикацию великолепного открытого…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: argilla
Теги: mistral, distilabel, dpo, rlaif, rlhf, merge, mergekit, en
Лайков: 10 | Загрузок: 165
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
