Целью Xwin-LM является разработка технологий согласования с открытым исходным кодом для больших языковых моделей, включая контролируемую точную настройку (SFT), модели вознаграждения (RM), отказную выборку, обучение с подкреплением на основе обратной связи с человеком (RLHF) и т. д. Наш первый выпуск, основанный на базовых моделях Llama2, занял ТОП-1 на AlpacaEval. Примечательно, что он первым превзошел GPT-4 в этом тесте. Проект будет постоянно обновляться. — 💥 [12 октября 2023 г.] Выпущены Xwin-LM-7B-V0.2 и Xwin-LM-13B-V0.2 с улучшенными данными сравнения и обучением RL (т. е. PPO). Их винрейты против. GPT-4 значительно возросли, достигнув 59,83% (модель 7B) и 70,36% (модель 13B) соответственно. Модель 70B будет выпущена в ближайшее время. — 💥 [сентябрь 2023 г.] Мы выпустили Xwin-LM-70B-V0.1, который достиг показателя победы над Davinci-003 в 95,57% в тесте AlpacaEval и занял первое место в рейтинге AlpacaEval. Это была ПЕРВАЯ модель, превзошедшая GPT-4 на AlpacaEval. Также обратите внимание на его винрейт против. ГПТ-4 составляет 60,61. — 🔍 [сентябрь 2023 г.] RLHF играет решающую роль в высокой производительности выпуска Xwin-LM-V0.1! — 💥 [сентябрь 2023 г.] Мы выпустили Xwin-LM-13B-V0.1, который достиг показателя побед 91,76% на AlpacaEval и занял первое место среди всех моделей 13B. — 💥 [сен,…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Xwin-LM
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 52 | Загрузок: 783
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
