Проект Rhea — это проект, который проводит исследования различных методов обучения для улучшения производительности модели фильма. Мы доработали существующую модель, используя фреймворк nox. Мы создали набор данных для обучения SFT на основе открытого в данный момент набора данных и создали набор данных с использованием SGD (метод создания самогенерируемого набора данных для обучения DPO) для обучения DPO. Наша модель заняла первое место в таблице лидеров Open LLM HuggingFace. Этот метод предлагает новый метод создания наборов данных для моделей DPO (самоконтролируемое обучение). Мы предлагаем метод, при котором предложения, сгенерированные моделью, сравниваются с фактическими правильными ответами из существующего набора данных, и добавляются предложения, в которых результаты, сгенерированные моделью, не соответствуют правильным ответам. Это позволяет модели автономно создавать обучающие данные, тем самым повышая производительность моделей DPO. Разработчики моделей: davidkim(changyeon kim) Репозиторий: https://github.com/davidkim205/nox базовый режим: abacusai/Smaug-72B-v0.1 Набор данных sft: datasetsenconv4m Набор данных dpo: datasetsencomp_151k — stack-exchange-preferences — SlimOrca — alpaca-gpt4 — SHP — HC3 — databricks-dolly-15k — orca-dpo-pairs — us-stockname —…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: davidkim205
Теги: llama, en, model-index, text-generation-inference, endpoints_compatible
Лайков: 135 | Загрузок: 8,706
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
