Эта модель представляет собой усовершенствованную версию превосходной модели бублика от Jondubin. В этой модели не использовалась какая-либо форма слияния. Мы создали Smaug-34B-v0.1, используя новую технику тонкой настройки DPO-Positive (DPOP) и новые версии парных предпочтений ARC, HellaSwag и MetaMath (а также другие существующие наборы данных). Мы представляем технику и все подробности обучения в нашей новой статье: https://arxiv.org/abs/2402.13228. Мы показываем, что в наборах данных, в которых расстояние редактирования между парами завершений невелико (например, в наборах математических данных), стандартная потеря DPO может привести к снижению вероятности появления в модели предпочтительных примеров, пока относительная вероятность между предпочтительными и непредпочтительными классами увеличивается. Используя эти знания, мы разрабатываем DPOP — новую функцию потерь и процедуру обучения, которая позволяет избежать этого режима сбоя. Удивительно, но мы также обнаружили, что DPOP превосходит DPO в широком спектре наборов данных и последующих задачах, включая наборы данных с большими расстояниями редактирования между завершениями. Мы считаем, что этот новый подход в целом полезен при обучении по широкому спектру типов моделей и последующих сценариев использования, а также используется во всех наших моделях Смауга. С выходом нашей газеты…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: abacusai
Теги: llama, conversational, text-generation-inference, endpoints_compatible
Лайков: 63 | Загрузок: 8,597
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
