Эта модель представляет собой настроенную по предпочтениям версию mistralai/Mixtral-8x7B-Instruct-v0.1 на наборе данных argilla/ultrafeedback-binarized-preferences, очищенном с использованием DPO (прямая оптимизация предпочтений). По состоянию на 26 декабря 2023 года она превосходит Mixtral-8x7B-Instruct-v0.1 и занимает первое место в рейтинге модели MoE (Mixture of Experts) в таблице лидеров Hugging Face Open LLM. Это часть семейства моделей и экспериментов Notus, в которых команда Argilla исследует методы настройки данных и предпочтений, такие как dDPO (дистиллированный DPO). Эта модель является результатом нашего первого эксперимента по настройке модели MoE, которая уже была настроена с помощью DPO (т. е. Mixtral-8x7B-Instruct-v0.1). — Разработано: Argilla (на основе предыдущих усилий MistralAI) — Предоставлено: Argilla — Тип модели: Предварительно обученная генеративная разреженная смесь экспертов — Язык(и) (НЛП): английский, испанский, итальянский, немецкий и французский — Лицензия: MIT — Доработано на основе модели: mistralai/Mixtral-8x7B-Instruct-v0.1 — Репозиторий: https://github.com/argilla-io/notus — Бумага: н/д Мы использовали виртуальную машину с 8 x H100 80 ГБ, размещенную в runpod.io, в течение 1 эпохи (~ 10 часов). Мы использовали новую версию набора данных настроек Argilla UltraFeedback под названием…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: argilla
Теги: tensorboard, mixtral, dpo, rlaif, preference, ultrafeedback, moe, conversational
Лайков: 164 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
