GPT2-BioPT (португальский биомедицинский GPT-2 small) — это языковая модель для португальского языка, основанная на модели OpenAI GPT-2, обученная на основе GPorTuguese-2 с использованием биомедицинской литературы. Мы использовали методы трансферного обучения и точной настройки со 110 МБ обучающих данных, что соответствует 16 209 373 токенам и 729 654 предложениям. Предварительно обученная модель английского языка с использованием цели причинно-следственного языкового моделирования (CLM). Он был представлен в этой статье и впервые опубликован на этой странице (14 февраля 2019 г.). Отказ от ответственности: команда, выпустившая GPT-2, также написала карточку модели для своей модели. Содержимое этой модельной карточки было написано командой Hugging Face, чтобы дополнить предоставленную ими информацию и привести конкретные примеры предвзятости. GPT-2 — это модель преобразователя, предварительно обученная на очень большом массиве английских данных с самоконтролем. Это означает, что он был предварительно обучен только на необработанных текстах, без каких-либо маркировок людьми (именно поэтому он может использовать множество общедоступных данных) с автоматическим процессом генерации входных данных и меток из этих текстов. Точнее, его обучали угадывать следующее слово в предложениях. Точнее, входные данные представляют собой последовательности непрерывного текста определенной длины и…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: pucpr
Теги: tf, jax, gpt2, pt, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
