Pile-T5 XL — это модель кодировщика-декодера, обученная на Pile с использованием библиотеки T5x. Модель была обучена на 2 миллиона шагов или примерно 2 триллиона токенов с использованием MLM-цели, аналогичной исходной модели T5. HF-версия Pile-T5 XL заимствует реализацию модели UMT5, поскольку она использует реализацию масштабируемой модели от T5x и использует LlamaTokenizer. — Разработчик: EleutherAI — Тип модели: Языковая модель на основе трансформатора — Язык: английский — Подробнее: [Сообщение в блоге](). Подробную информацию о наборе обучающих данных см. в документе Pile и в его технических данных. — Лицензия: Apache 2.0 — Контакт: чтобы задать вопросы по этой модели, присоединяйтесь к EleutherAI Discord и размещайте их в #release-discussion. Пожалуйста, прочтите существующую документацию GPT-NeoX-20B, прежде чем спрашивать о модели в Discord. Для общей переписки: contact@eleuther. ай. Pile-T5 был разработан в первую очередь для исследовательских целей. Он изучает внутреннее представление английского языка, которое можно использовать для извлечения функций, полезных для последующих задач. Помимо научного использования, вы также можете дополнительно настроить и адаптировать Pile-T5 для развертывания, если ваше использование соответствует лицензии Apache 2.0. Данная модель работает с…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: EleutherAI
Теги: umt5, text2text-generation, t5x, encoder-decoder, en, endpoints_compatible
Лайков: 12 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
