enwik8 — это набор данных, основанный на Википедии, который часто используется для измерения способности модели сжимать данные, например в рамках премии Хаттера: https://en.wikipedia.org/wiki/Hutter_Prize. реформатор-enwik8 был предварительно обучен на первых 90 миллионах символов enwik8, тогда как текст был разбит на пакеты размером 65536 символов (= 2 ^ 16). Веса модели были взяты из https://console.cloud.google.com/storage/browser/trax-ml/reformer/enwik8 и преобразованы в модель ReformerModelWithLMHead от Hugging Face PyTorch ReformerLM. Модель представляет собой языковую модель, которая работает с символами. Поэтому этой модели не нужен токенизатор. Вместо этого для кодирования и декодирования можно использовать следующую функцию:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: google
Теги: reformer, endpoints_compatible
Лайков: 21 | Загрузок: 29,708
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
