WangChanGLM представляет собой многоязычный, настроенный на основе инструкций Facebook XGLM-7.5B с использованием коммерчески допустимых наборов данных с открытым исходным кодом (чип Laion OIG2 и infilldbpedia, DataBricks Dolly v2, OpenAI TL;DR и Hello-SimpleAI HC3; около 400 тыс. примеров), выпущенных в соответствии с CC-BY SA 4.0. Модели обучены выполнять подмножество задач по следованию инструкциям, которые, по нашему мнению, наиболее актуальны, а именно: понимание прочитанного, мозговой штурм и творческое письмо. Мы предоставляем веса для модели, тонко настроенной на наборе данных только на английском языке (wangchanglm-7.5B-sft-en), и еще одной контрольной точки, дополнительно тонко настроенной на наборе данных тайского языка, переведенном Google (wangchanglm-7.5B-sft-enth). Мы проводим оценку в стиле Vicuna с использованием как людей, так и ChatGPT (в нашем случае gpt-3.5-turbo, поскольку мы все еще находимся в списке ожидания для gpt-4 `) и наблюдаем некоторые расхождения между этими двумя типами анноаторов. Все коды обучения и оценки доступны под лицензией Apache-2.0 в нашем Github, а также наборы данных и веса моделей на HuggingFace. Аналогично Dolly v2, мы используем только коммерчески доступные предварительно обученные модели с открытым исходным кодом и наборы данных, наши модели не ограничены некоммерческим предложением, таким как модели, которые используют LLaMA в качестве базы…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: pythainlp
Теги: xglm, en, th, ja, vi, endpoints_compatible
Лайков: 2 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.