TopicNeuralHermes 2.5 Mistral 7B — это усовершенствованная модель, разработанная путем тонкой настройки с использованием определенного подмножества данных, выбранного с помощью методов тематического моделирования с использованием Bunkatopics, как продолжение OpenHermes 2.5. Модель была обучена на уточненном наборе данных DPO. Целью было обучить модель на небольшой части данных DPO. Для этого мы сравнили два набора данных, использованных для обучения модели вознаграждения: отклоненные ответы Llama и принятые ответы ChatGPT из набора данных DPO. Затем мы провели тематическое моделирование для обоих наборов данных, оставив только те темы, которые существовали в принятом наборе данных, но не в отклоненном. Наша гипотеза состоит в том, что эти темы отражают основные различия между двумя стилями ответа. Этот метод позволяет ускорить сходимость при значительно меньшем количестве данных (около 1/6 исходного набора данных). Набор данных можно найти по адресу Bunkalab/topicbasedchatmldpopairs. Особая благодарность mlabonne за создание блокнота для совместной работы, который облегчил реализацию стратегии DPO. Результаты модели можно найти здесь: Мы делаем так же, как и аналогичные модели с гораздо меньшим количеством данных и вычислительной мощности 🙂 Мы применили метод тематического моделирования к обоим наборам данных, извлекая по 30 тем из каждого.…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: charlesdedampierre
Теги: Bunkatopics, mistral, conversational
Лайков: 6 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
