Viking 7B — это преобразователь параметров 7B, предназначенный только для декодера, предварительно обученный на финском, английском, шведском, датском, норвежском, исландском языках и кодовом языке. Он обучен на 2 триллионах токенов. Viking 7B — это модель с полностью открытым исходным кодом, доступная по лицензии Apache 2.0. Viking был создан в результате сотрудничества группы TurkuNLP Университета Турку, SiloGen от Silo AI и High Performance Language Technologies (HPLT). Обучение проводилось на суперкомпьютере LUMI с использованием вычислительных ресурсов, щедро предоставленных CSC – Научным центром информационных технологий, Финляндия. Этот проект является частью постоянных усилий по созданию больших языковых моделей с открытым исходным кодом для неанглийских и особенно языков с ограниченными ресурсами, таких как финский. Режим свободно говорит на финском, английском и скандинавских языках и способен осуществлять базовый перевод между ними. Он также способен понимать и генерировать код. Viking — это второй набор моделей, выпущенный LumiOpen, который доступен с тремя параметрами: Viking — это генеративный предварительно обученный преобразователь, использующий архитектуру GPT, подобную LLaMA, и использующий поворотно-позиционные встраивания и мгновенное внимание. Viking 7B обучался на суперкомпьютере LUMI с использованием 256 процессоров AMD MI250X…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: LumiOpen
Теги: llama, fi, en, da, sv, no, nn, is
Лайков: 44 | Загрузок: 4,373
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
