Меньшая модель GPT-2 с (всего) параметрами 39M. Он был предварительно обучен на подмножестве OpenWebText, версии набора данных для предварительного обучения с открытым исходным кодом, используемой OpenAI для исходных моделей GPT-2. Целью этой модели является главным образом исследование и образование. Его небольшой размер позволяет быстро экспериментировать в условиях ограниченных ресурсов, сохраняя при этом возможность генерировать сложный и связный текст. Архитектура основана на модели GPT-2 с меньшими размерами и меньшим количеством слоев. Он использует тот же токенизатор, что и GPT-2. Мы использовали первые 2 миллиона строк из набора данных OpenWebText, из которых мы используем 1 тысячу для тестовых и проверочных наборов.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: erwanf
Теги: gpt2, en, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 55,095
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
