Модель Bottleneck T5 лежит в основе многих моих экспериментов и демонстраций, изучающих интерфейсы для проверки и редактирования текста в скрытом пространстве. Эта модель представляет собой автокодировщик текста; он способен кодировать текст длиной до 512 токенов во встраивание, а затем восстанавливать исходный текст из встраивания. Структура пространства внедрения, создаваемая этой моделью, также позволяет осуществлять семантическое редактирование текста посредством векторной арифметики в скрытом пространстве. Используя встраивания, созданные этой моделью, мы можем семантически интерполировать фрагменты текста и редактировать предложения, используя их скрытые атрибуты, такие как длина, тон, структура или тема. Все модели Bottleneck T5 обучены на отфильтрованном подмножестве английской Википедии и лучше всего работают при кодировании и декодировании энциклопедического и других подобных типов текста. Текст, который носит технический, разговорный или иной нетрадиционный характер, может быть исключен из распространения модели, и модель может не работать так же хорошо на таких входных данных. Вложения T5 с узким местом всегда нормализуются до длины 1; кодер создает вложения длиной 1, и любые входные данные декодера будут нормализованы до длины 1. — Разработчик: Линус Ли — Тип модели: кодер-декодер в стиле T5…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: thesephist
Теги: t5, custom_code, en, text-generation-inference, endpoints_compatible
Лайков: 20 | Загрузок: 697
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
