В последнее время, благодаря успеху ChatGPT, появилось множество больших языковых моделей, созданных в попытке достичь уровня возможностей ChatGPT. Однако, когда речь идет о работе с корейским языком, было замечено, что многим моделям по-прежнему сложно давать точные ответы или эффективно генерировать текст на корейском языке. В настоящем исследовании эти проблемы решаются путем внедрения методики многозадачного обучения, которая использует контролируемые наборы данных из различных задач для создания обучающих данных для больших языковых моделей (LLM). Разработчики модели: davidkim (Чан Ён Ким) Репозиторий: https://github.com/davidkim205/komt Целевые модули LoRA: qproj, oproj, vproj, gateproj, downproj, kproj, upproj Размер модели: 80 МБ Архитектура модели: komt-llama-2-7b — это авторегрессивная языковая модель, использующая оптимизированную архитектуру трансформера. В оптимизированных версиях используется контролируемая донастройка с помощью многозадачных инструкций. Для объективной оценки модели мы сначала использовали lm-evaluation-harness от EleutherAI, но получили неудовлетворительные результаты. В связи с этим мы провели оценки с использованием ChatGPT, широко применяемой модели, как описано в статьях «Self-Alignment with Instruction Backtranslation» и «Three Ways of Using Large Language…».
Модальности:
Генерация текста
Задача: Генерация текста
Автор: davidkim205
Теги: peft, facebook, meta, llama, llama-2, llama-2-chat, en, ko
Лайков: 2 | Загрузок: 2
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.