Представляем Llama-3-TenyxChat-70B, часть нашей серии TenyxChat, обученную работать в качестве полезных помощников посредством настройки предпочтений с использованием передовой технологии тонкой настройки Tenyx (статья VentureBeat). Наша модель обучена с использованием платформы Direct Preference Optimization (DPO) на базе данных обратной связи AI с открытым исходным кодом UltraFeedback. Мы настраиваем Llama3-70B с помощью собственного подхода, который показывает прирост в MT-Bench* без падения производительности модели в других тестах. Наш подход направлен на уменьшение забывания в LLM эффективным с точки зрения вычислений способом, тем самым обеспечивая возможности постоянной точной настройки без изменения предварительно обученного распределения выходных данных. Llama-3-TenyxChat-70B обучался с использованием восьми устройств A100 (80 ГБ) в течение пятнадцати часов с использованием обучающей установки, полученной с HuggingFaceH4 (GitHub). Оценка MT-Bench, которую мы проводим, соответствует последнему оценочному обновлению, указанному здесь. Этот PR обновляет оценку с GPT-4-0613 до GPT-4-preview-0125` (последняя версия), а также исправляет и повышает качество эталонных ответов на подмножество вопросов. Эти изменения необходимы для исправления ошибочной оценки во время предыдущей оценки. — Тип модели: Точная настройка…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: tenyx
Теги: llama, tenyx-fine-tuning, dpo, tenyxchat, llama3, conversational, en, text-generation-inference
Лайков: 64 | Загрузок: 8,481
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
