crumbly/horizon-25m-v0 - Каталог нейросетей
Генерация текста

crumbly/horizon-25m-v0

Добавлено:
crumbly/horizon-25m-v0

Модифицированная архитектура GPT2 с 25-метровыми не встраиваемыми параметрами, отсутствием смещений, встраиванием ln, масштабируемыми вложениями положения sin и модификацией, которая заставляет трансформатор модели проходить через последовательность четыре раза, прежде чем перейти к головке моделирования языка.

Модальности:
Генерация текста


Задача: Генерация текста
Автор: crumbly
Теги: gpt2a, custom_code, en
Лайков: 3  |  Загрузок: 28

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.