В последнее время, благодаря успеху ChatGPT, появилось множество крупных языковых моделей в попытке догнать возможности ChatGPT. Однако, когда дело доходит до производительности на корейском языке, было замечено, что многим моделям по-прежнему сложно давать точные ответы или эффективно генерировать корейский текст. В этом исследовании эти проблемы решаются путем введения метода многозадачного обучения, который использует контролируемые наборы данных из различных задач для создания обучающих данных для моделей большого языка (LLM). Разработчики моделей: davidkim(changyeon kim). Репозиторий: https://github.com/davidkim205/komt. Архитектура модели: komt-llama-2-7b — это авторегрессионная языковая модель, использующая оптимизированную архитектуру преобразователя. В настроенных версиях используется контролируемая точная настройка с помощью многозадачных инструкций. Лицензия: Эта модель находится под некоммерческой индивидуальной лицензией и регулируется Мета-лицензией. Для объективной оценки модели мы первоначально использовали lm-evaluation-harness от EleutherAI, но получили неудовлетворительные результаты. Следовательно, мы провели оценки с использованием ChatGPT, широко используемой модели, как описано в разделах «Самовыравнивание с обратным переводом инструкций» и «Три способа использования большого языка».
Модальности:
Генерация текста
Задача: Генерация текста
Автор: davidkim205
Теги: llama, facebook, meta, llama-2, llama-2-chat, en, ko, text-generation-inference
Лайков: 5 | Загрузок: 3
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
