Это предварительная версия, и этот репозиторий будет удален после выпуска новой версии. В настоящее время мы находимся в процессе поиска баланса между переоснащением и обобщением в обучении DPO. Более подробную информацию о проблемах, с которыми мы столкнулись в этой версии, можно найти в разделе «Ограничения». Пожалуйста, присоединяйтесь к нашему серверу Discord, чтобы оставить нам свой отзыв. Модель непрерывного предварительного обучения модели Yi-6B на кантонском корпусе, которая состояла из переведенных новостей Гонконга, статей из Википедии, субтитров и корпусов диалогов с открытым исходным кодом. Кроме того, мы расширили словарный запас, включив в него распространенные кантонские слова. Целью этой модели было оценить, сможем ли мы обучить языковую модель, свободно говорящую на кантонском диалекте, с ограниченными ресурсами (200 миллионов токенов). На удивление, результат оказался весьма хорошим. Тем не менее, все еще существуют некоторые проблемы с зеркальным несовпадением письменного китайского и кантонского диалектов, а также с передачей знаний на разные языки. Чтобы назначить роль модели чата, вы должны указать правильное системное приглашение. По умолчанию системное приглашение — «你係由 hon9kon9ize 開發嘅 CantoneseLLM，你係一個好幫得手嘅助理», что приводит к тому, что выходные данные имеют тенденцию отвечать на кантонском диалекте, мы…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: hon9kon9ize
Теги: llama, conversational, yue, text-generation-inference, endpoints_compatible
Лайков: 12 | Загрузок: 88
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
