Эта модель представляет собой дополнительную предварительно обученную модель, основанную на 01-ai/Yi-6B с 800 млн токенов кантонского текста, скомпилированных из различных источников, включая переведенную Википедию zh-yue, переведенные наборы данных новостей RTHK/jed351/rthk_news, кантонский фильтрованный CC100 и кантонские учебники, созданные Gemini Pro. Это предварительная версия, предназначенная только для экспериментального использования. Мы будем использовать ее для точной настройки последующих задач и оценки производительности. Модель предназначена для использования в задачах понимания и генерации кантонского языка. Она может не подойти для других китайских языков. Модель обучена на разнообразном кантонском тексте, включая новости, Википедию и учебники. Она может не подходить для неформального или диалектного кантонского диалекта, может содержать предвзятость и дезинформацию, используйте ее с осторожностью. Мы обнаружили, что модель недостаточно хорошо обучена обновленным знаниям Гонконга, возможно, это связано с тем, что корпус недостаточно велик, чтобы промыть мозги исходной модели. Мы продолжим совершенствовать модель и корпус в будущем.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: hon9kon9ize
Теги: llama, yue, model-index, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 99
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
