Poro — это преобразователь только для декодера параметров на 34 бита, предварительно обученный на финском, английском языке и коде. Он был обучен на 1 триллионе токенов. Poro — это модель с полностью открытым исходным кодом, доступная по лицензии Apache 2.0. Poro был создан в результате сотрудничества SiloGen из Silo AI, группы TurkuNLP Университета Турку и High Performance Language Technologies (HPLT). Обучение проводилось на суперкомпьютере LUMI с использованием вычислительных ресурсов, щедро предоставленных CSC – Научным центром информационных технологий, Финляндия. Этот проект является частью постоянных усилий по созданию больших языковых моделей с открытым исходным кодом для неанглийских и особенно языков с ограниченными ресурсами, таких как финский. Благодаря объединению данных обучения на английском и финском языках мы получаем модель, которая превосходит предыдущие модели, работающие только на финском языке, при этом свободно владея английским языком и кодом, а также способствуя базовому переводу между английским и финским языками. Poro 34B – лишь первая модель нашего модельного семейства. Уже ведется работа над нашими следующими моделями, которые будут поддерживать дополнительные языки и включать такие функции, как мгновенное внимание, вращающееся встраивание и внимание к групповым запросам. Что означает Поро? Поро по-фински означает «оленей»! 🦌 Эти…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: LumiOpen
Теги: bloom, fi, en, text-generation-inference, endpoints_compatible
Лайков: 118 | Загрузок: 1,722
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
