Модифицированная архитектура GPT2 с 25-метровыми не встраиваемыми параметрами, отсутствием смещений, встраиванием ln, масштабируемыми вложениями положения sin и модификацией, которая заставляет трансформатор модели проходить через последовательность четыре раза, прежде чем перейти к головке моделирования языка.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: crumbly
Теги: gpt2a, custom_code, en
Лайков: 3 | Загрузок: 28
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.