Эта модель представляет собой крошечную модель GPT-2 (обучаемые параметры 3M), предварительно обученную в течение 3 эпох на наборе данных TinyStories V2. TinyStories-GPT2-3M — это копия модели TinyStories, использующая архитектуру GPT-2 вместо GPT-Neo. Это был осознанный выбор, сделанный для ускорения исследований, поскольку архитектура GPT-2 более широко поддерживается всеми инструментами. Мы не вносим каких-либо заметных улучшений производительности, хотя, как и в исходной модели, мы обнаруживаем удивительную степень согласованности внутри модели, учитывая ее размер. Только для исследовательского использования — НЕ подходит для коммерческого использования в соответствии с условиями OpenAI TOS при использовании их API для получения обучающих данных. Обратите внимание, что словарный запас, на котором обучалась эта модель, весьма минимален. Внераспределенные входные данные не будут работать так же хорошо, как более крупная модель более общего назначения. Чтобы наблюдать такое поведение, попробуйте сгенерировать несколько токенов после нетривиального слова, например «Биология». Модель обычно рассматривает слова, которые не часто встречаются в обучении, как имена персонажей в истории. Все данные обучения на английском языке. Таким образом, ввод с других языков не распространяется и приведет к тому, что модель будет рассматривать предыдущий ввод как имена символов, полностью игнорируя его или генерируя…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: calum
Теги: gpt2, generated_from_trainer, en, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 641
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
