GlórIA — это крупная генеративная языковая модель, в которой особое внимание уделяется европейскому португальскому языку. Это модель с параметрами 1.3B, основанная на GPTNeo, которая имеет 24 слоя и скрытый размер 2048. GlórIA 1.3B была обучена на большом корпусе, содержащем примерно 35 миллиардов токенов. Этот корпус был создан путем сбора нескольких португальских источников: — [ArquivoPT News PT-PT Dataset](): коллекция 1,4 млн европейских португальских архивных новостей и периодических изданий с Arquivo.pt. — ClueWeb-Large PT-PT: многоязычный корпус, аналогичный OSCAR. Метаданные использовались для фильтрации только веб-страниц PT-PT. — Europarl PT-PT: параллельный корпус документов, таких как стенограммы Европейского парламента (мы использовали только документы PT-PT). — OpenSubtitles PT-PT: корпус, содержащий субтитры PT-PT из OpenSubtitles. — OSCAR PT-PT: многоязычный корпус, полученный в результате фильтрации корпуса Common Crawl. Мы использовали метаданные для фильтрации только веб-страниц PT-PT. — [PT WIKI](): Португальская Википедия. 20.06.2022 Дамп. Генеративные возможности GlórIA 1.3B были оценены на CALAME-PT — новом португальском тесте, целью которого является предсказание последнего слова предложения в соответствии с заданным контекстом. Лицензия: использование GlórIA ограничено только исследовательскими…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: NOVA-vision-language
Теги: gpt_neo, GlórIA, European Portuguese, gptneo, decoder, foundation model, pt, endpoints_compatible
Лайков: 32 | Загрузок: 520
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
