Универсальная японская языковая модель GPTSAN на основе трансформатора Swich имеет некоторые уникальные особенности. Он имеет модельную структуру Prefix-LM. Он работает как смещенная языковая модель в масках для токенов ввода префикса. Входные данные без префиксов ведут себя как обычные генеративные модели. Вектор Spout — это входные данные, специфичные для GPTSAN. Spout предварительно обучается случайными входными данными, но во время точной настройки вы можете указать класс текста или произвольный вектор. Это позволяет указать тенденцию генерируемого текста. GPTSAN имеет разреженную прямую связь на основе Switch-Transformer. Вы также можете добавить другие слои и обучить их частично. Подробности смотрите в исходном репозитории GPTSAN. Модель японского языка с использованием Switch Transformer. Он имеет ту же структуру, что и модель, представленная как префикс LM в документе T5, и работает как с генерацией тестов, так и с моделью маскированного языка. — Разработчик: Тосиюки Сакамото (танрейнама) — Тип модели: переключающий трансформатор — Язык(и) (NLP): японский — Лицензия: Лицензия MIT. GPTSAN имеет структуру модели, названную Prefix-LM в документе T5. (Исходный репозиторий GPTSAN называет его гибридным.) В GPTSAN — префиксная часть Prefix-LM, то есть входная позиция, на которую может ссылаться…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Tanrei
Теги: gptsan-japanese, text2text-generation, ja, endpoints_compatible
Лайков: 13 | Загрузок: 711
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
