Представляем SauerkrautLM-Mixtral-8x7B — нашу версию мощного Mixtral-8x7B для квашеной капусты! Точная настройка и согласование с SFT и DPO 1. Обзор всех моделей SauerkrautLM-Mixtral 2. Подробности модели — Шаблон подсказки — Набор обучающих данных 3. Оценка 5. Отказ от ответственности 6. Контакты 7. Сотрудничество 8. Благодарность SauerkrautLM-Mixtral-8x7B — Тип модели: SauerkrautLM-Mixtral-8x7B представляет собой смесь экспертов (MoE) Модель на основе mistralai/Mixtral-8x7B-v0.1 — Язык(и): английский, немецкий, французский, итальянский, испанский — Лицензия: APACHE 2.0 — Контакт: Веб-сайт Дэвид Гольхинфар SauerkrautLM-Mixtral-8x7B был обучен с использованием дополнения немецких данных и переведенных данных. SFT с набором данных OpenOrca/Slim-Orca и согласован через DPO с нашим новым немецким набором данных SauerkrautLM-DPO, основанным на частях набора данных SFT SauerkrautLM в качестве выбранных ответов и Sauerkraut-7b-HerO в качестве отклоненных ответов. Добавлено дополнительные переведенные части HuggingFaceH4/ultrafeedbackbinarized и argilla/distilabel-math-preference-dpo.** Мы обнаружили, что только простой перевод обучающих данных может привести к неестественным немецким фразам. Методы увеличения данных использовались для обеспечения грамматической, синтаксической правильности и более…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: VAGOsolutions
Теги: mixtral, mistral, finetune, sft, dpo, chatml, augmentation, german
Лайков: 12 | Загрузок: 254
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
