XGLM-7.5B — это многоязычная авторегрессионная языковая модель (с 7,5 миллиардами параметров), обученная на сбалансированном корпусе разнообразного набора языков, насчитывающем 500 миллиардов субтокенов. Он был представлен в статье «Несколько шагов обучения с помощью многоязычных языковых моделей» Си Виктории Линь, Тодора Михайлова, Микеля Артече, Тяньлу Вана, Шуохуи Чена, Дэниела Симига, Майла Отта, Намана Гояла, Шрути Бхосале, Цзинфея Ду, Рамаканта Пасунуру, Сэма Шлейфера, Пунита Сингха Куры, Вишрава Чаудхари, Брайана. О’Хоро, Джефф Ван, Люк Зеттлмойер, Зорница Козарева, Мона Диаб, Веселин Стоянов, Сиань Ли (*Равный вклад). Исходная реализация была выпущена в этом репозитории. Статистика обучающих данных XGLM-7.5B показана в таблице ниже. Информацию о предполагаемом использовании модели см. в карточке модели, выпущенной командой разработчиков XGLM-7.5B. В следующем фрагменте показано, как оценить наши модели (стиль GPT-3, нулевой выстрел) в задаче «Выбор правдоподобных альтернатив» (COPA), используя примеры на английском, китайском и хинди.
Модальности:
Генерация текста
Области применения:
Мультиязычность
Задача: Генерация текста
Автор: facebook
Теги: xglm, multilingual, en, ru, zh, de, es, fr
Лайков: 60 | Загрузок: 1,375
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
