Недавно мы выпустили Smaug-72B-v0.1, который занял первое место в таблице лидеров Open LLM по версии HuggingFace. Это первая модель с открытым исходным кодом, средний балл которой превысил 80%. Смауг-72B доработан непосредственно из moreh/MoMo-72B-lora-1.8.7-DPO и в конечном итоге основан на Qwen-72B. Мы создали Smaug-72B-v0.1, используя новую технику тонкой настройки DPO-Positive (DPOP) и новые версии парных предпочтений ARC, HellaSwag и MetaMath (а также другие существующие наборы данных). Мы представляем технику и все подробности обучения в нашей новой статье: https://arxiv.org/abs/2402.13228. Мы показываем, что в наборах данных, в которых расстояние редактирования между парами завершений невелико (например, в наборах математических данных), стандартная потеря DPO может привести к снижению вероятности появления в модели предпочтительных примеров, пока относительная вероятность между предпочтительными и непредпочтительными классами увеличивается. Используя эти знания, мы разрабатываем DPOP — новую функцию потерь и процедуру обучения, которая позволяет избежать этого режима сбоя. Удивительно, но мы также обнаружили, что DPOP превосходит DPO в широком спектре наборов данных и последующих задачах, включая наборы данных с большими расстояниями редактирования между завершениями. Мы верим в это новое…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: abacusai
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 466 | Загрузок: 8,313
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.