Кантонский LLM Chat v1.0 — это кантонский LLM первого поколения от hon9kon9ize. Основываясь на успехе предварительной версии 0.5, модель превосходно владеет специальными знаниями, связанными с Гонконгом, и кантонским разговорным языком. Базовая модель, полученная в результате непрерывного предварительного обучения Qwen 2.5 32B с использованием 600 миллионов общедоступных новостных статей Гонконга и веб-сайтов на кантонском языке. Инструкции: точно настроенная модель, обученная с использованием набора данных, состоит из 75 000 пар инструкций. 45 000 пар представляли собой инструкции на кантонском языке, созданные другими студентами LLM и проверенные людьми. Модель обучалась с помощью 16 графических процессоров Nvidia H100 96 ГБ HBM2e на суперкомпьютере Genkai. Лучший в своем классе LLM с открытым исходным кодом в понимании кантонской и гонконгской культуры по версии HK-Eval Benchmark. Однако, как можно было заметить, модели рассуждения показали себя значительно лучше, чем их аналоги. В настоящее время мы работаем над моделями рассуждений для версии 2.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: hon9kon9ize
Теги: qwen2, llama-factory, full, generated_from_trainer, conversational, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 55
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
