Viking 13B — это преобразователь только для декодера параметров 13B, предварительно обученный на финском, английском, шведском, датском, норвежском, исландском языках и кодовом языке. Он обучается на 2 триллионах токенов (1,3 триллиона на момент выпуска). Viking 13B — это модель с полностью открытым исходным кодом, доступная по лицензии Apache 2.0. Viking был создан в результате сотрудничества группы TurkuNLP Университета Турку, SiloGen от Silo AI и High Performance Language Technologies (HPLT). Обучение проводилось на суперкомпьютере LUMI с использованием вычислительных ресурсов, щедро предоставленных CSC – Научным центром информационных технологий, Финляндия. Этот проект является частью постоянных усилий по созданию больших языковых моделей с открытым исходным кодом для неанглийских и особенно языков с ограниченными ресурсами, таких как финский. Режим свободно говорит на финском, английском и скандинавских языках и способен осуществлять базовый перевод между ними. Он также способен понимать и генерировать код. Viking — это второй набор моделей, выпущенный LumiOpen, который доступен с тремя параметрами: Viking — это генеративный предварительно обученный преобразователь, использующий архитектуру GPT, подобную LLaMA, и использующий поворотно-позиционные встраивания и мгновенное внимание. «Викинг-13Б» прошел подготовку на…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: LumiOpen
Теги: llama, fi, en, da, sv, no, nn, is
Лайков: 12 | Загрузок: 199
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
