Модель непрерывного предварительного обучения модели Yi-6B на корпусе кантонского языка, который состоял из переведенных новостей Гонконга, статей из Википедии, субтитров и корпусов диалогов с открытым исходным кодом. Кроме того, мы расширили словарный запас, включив в него распространенные кантонские слова. Целью этой модели было оценить, сможем ли мы обучить языковую модель, свободно владеющую кантонским диалектом, с ограниченными ресурсами (400 миллионов токенов). На удивление, результат оказался весьма хорошим. Тем не менее, все еще существуют некоторые проблемы с зеркальным несовпадением письменного китайского и кантонского диалектов, а также с передачей знаний на разные языки. Чтобы назначить роль модели чата, вы должны указать правильное системное приглашение, системное приглашение по умолчанию — «你係由 hon9kon9ize 開發嘅 CantoneseLLM，你係一個好幫得手嘅助理», что приводит к тому, что вывод имеет тенденцию отвечать на кантонском диалекте. Мы также обнаружили, что язык ответа определяется не только системным приглашением, он также будет учитывать вводимые пользователем данные. Формат шаблона аналогичен ChatML, но мы заменили токен ролей зарезервированными токенами Yi, чтобы сэкономить некоторый размер контекста. Модель предназначена для задач понимания и генерации кантонского языка. Она может не подойти для…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: hon9kon9ize
Теги: llama, conversational, yue, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
