В последнее время, благодаря успеху ChatGPT, появилось множество крупных языковых моделей в попытке догнать возможности ChatGPT. Однако, когда дело доходит до производительности на корейском языке, было замечено, что многим моделям по-прежнему сложно давать точные ответы или эффективно генерировать корейский текст. В этом исследовании эти проблемы решаются путем введения метода многозадачного обучения, который использует контролируемые наборы данных из различных задач для создания обучающих данных для моделей большого языка (LLM). Разработчики моделей: davidkim(changyeon kim). Репозиторий: https://github.com/davidkim205/komt. Архитектура модели**: komt-mistral-7b-v1-dpo — это доработанная версия komt-mistral-7b-v1 (исходная модель: Mistral-7B-Instruct-v0.1). maywell/koUltrafeedbackbinarized — https://huggingface.co/datasets/maywell/koUltrafeedback_binarized Для объективной оценки модели мы изначально использовали lm-evaluation-harness от EleutherAI, но получили неудовлетворительные результаты. Следовательно, мы провели оценки с использованием ChatGPT, широко используемой модели, как описано в разделах «Самосогласование с обратным переводом инструкций» и «Три способа использования больших языковых моделей для оценки чата».
Модальности:
Генерация текста
Задача: Генерация текста
Автор: davidkim205
Теги: peft, facebook, meta, llama, llama-2, llama-2-chat, en, ko
Лайков: 8 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
