Zephyr — это серия языковых моделей, которые обучены выступать в роли полезных помощников. Zephyr 141B-A39B — последняя модель в серии и представляет собой доработанную версию mistral-community/Mixtral-8x22B-v0.1, которая была обучена с использованием нового алгоритма выравнивания, называемого оптимизацией предпочтений соотношения шансов (ORPO), с 7 тыс. экземпляров в течение 1,3 часа на 4 узлах 8 x H100. ORPO не требует этапа SFT для достижения высокой производительности и, таким образом, гораздо более эффективен в вычислительном отношении, чем такие методы, как DPO и PPO. Для обучения Zephyr-141B-A39B мы использовали бинаризованный набор данных предпочтений argilla/distilabel-capybara-dpo-7k, который состоит из синтетических высококачественных многоходовых предпочтений, оцененных с помощью LLM. > [!NOTE] > Эта модель была обучена совместно Argilla, KAIST и Hugging Face. Тип модели: модель «Смесь экспертов» (MoE) с общим числом параметров 141B и активными параметрами 39B. (Изначально мы допустили небольшую ошибку при расчете количества активных параметров для идентификатора модели. На карточке модели указано правильное число.) Точная настройка на основе общедоступных синтетических наборов данных. — Язык(и) (НЛП): Преимущественно английский. — Лицензия: Apache 2.0. — Точная настройка на основе модели:…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: HuggingFaceH4
Теги: tensorboard, mixtral, trl, orpo, generated_from_trainer, conversational, text-generation-inference, endpoints_compatible
Лайков: 269 | Загрузок: 197
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
