Это более современная версия оригинального GPT-2. Помимо того, что он более современный, он также имеет тенденцию работать лучше, чем оригинальный GPT2, в стандартных тестах. Он был обучен на очищенном снимке Common Crawl и Wikipedia от декабря 2022 года. Эта модель была создана в рамках проекта OLM, целью которого является постоянное обучение и выпуск моделей, которые являются актуальными и сопоставимыми по производительности стандартных языковых моделей со своими статическими аналогами. Это важно, потому что мы хотим, чтобы наши модели знали о таких событиях, как COVID или президентские выборы, сразу после того, как они произошли. Вы можете использовать необработанную модель для генерации текста или настроить ее для последующей задачи. Вы можете использовать эту модель напрямую с конвейером для генерации текста. Поскольку генерация основана на некоторой случайности, мы задаем начальное значение для воспроизводимости: Вот как можно использовать эту модель для получения характеристик заданного текста в PyTorch: Модель и токенизатор были обучены с использованием очищенного набора данных Common Crawl за декабрь 2022 года и очищенного набора данных Википедии за декабрь 2022 года. Токенизированная версия этих объединенных наборов данных находится здесь. Наборы данных были созданы с помощью этого репозитория. Модель прошла обучение по…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: olm
Теги: tensorboard, gpt2, exbert, en, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 2
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
