Модель ELMER была предложена в книге ELMER: неавторегрессивная предварительно обученная языковая модель для эффективной и действенной генерации текста Джуньи Ли, Тяньи Тан, Уэйном Синь Чжао, Цзянь-Юнь Не и Цзи-Ронг Вэнь. Подробную информацию и инструкции можно найти https://github.com/RUCAIBox/ELMER. ELMER — это эффективный и действенный PLM для генерации текста NAR, который генерирует токены на разных уровнях, используя технику раннего выхода. Архитектура ELMER представляет собой вариант стандартного кодера-декодера Transformer и имеет три технических преимущества: 1. Для декодера мы заменяем исходное замаскированное многоголовое внимание двунаправленным многоголовым вниманием, аналогичным кодировщику. Таким образом, ELMER динамически регулирует длину вывода, выдавая конечный токен «[EOS]» в любой позиции. 2. Используя ранний выход, ELMER вводит «отходы» на каждом уровне декодера, которые делают прогнозы с промежуточными скрытыми состояниями. Если ELMER завершает работу на $l$-м уровне, мы копируем $l$-е скрытые состояния на последующие уровни. 3. ELMER использует новую цель предварительного обучения — моделирование языка перестановки слоев (LPLM) для предварительного обучения на крупномасштабном корпусе. LPLM меняет выходной слой для каждого…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: RUCAIBox
Теги: bart, text2text-generation, non-autoregressive-generation, early-exit, en, endpoints_compatible
Лайков: 4 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
