Этот репозиторий содержит реализацию кода для проекта, целью которого является расширение возможностей предварительно обученных моделей большого языка (LLM) на неанглийских языках путем создания семантического согласования между языками. В рамках проекта исследуются методы настройки межъязыковых и многоязычных инструкций. Реализация кода основана на Stanford Alpaca. Подробную информацию о среде conda см. в файле Environment.yml. Начните с загрузки предварительно обученного LLM в каталог ./model. Вы можете скачать все наборы данных, используемые в этом проекте, по этой ссылке. После загрузки поместите наборы данных в каталог ./data. Наборы данных включают в себя: Набор обучающих данных Alpaca Wikimatrix Newscommentary Набор оценочных данных XQUAD MLQA Flores-101 * MI-Eval Вы можете загружать необработанные данные вместе с инструкциями, используя предоставленные сценарии (./data//). Если вы хотите использовать новый набор данных, вам необходимо реализовать соответствующий скрипт. Загруженные данные будут иметь следующую структуру: Чтобы настроить предварительно обученный LLM по инструкциям, запустите сценарий train.sh. Например, вы можете настроить LLaMA-7B на x-LLaMA-7B (китайский) с помощью следующей команды: В этой команде первый аргумент…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: YunzheLv
Теги: llama, ar, el, hi, tr, vi, zh, en
Лайков: 4 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.