Марианна Арриола, Аарон Гокаслан, Джастин Тиу, Чжихан Ян, Чжисюань Ци, Цзяци Хан, Субхам Секхар Саху, Владимир Кулешов Мы представляем BD3-LM, семейство блочных языковых моделей диффузии с дискретным шумоподавлением, которые обеспечивают вероятность SOTA среди диффузионных моделей и позволяют генерировать последовательности произвольной длины. BD3-LM сочетают в себе сильные стороны авторегрессионной и диффузной языковых моделей, разлагая последовательность токенов на блоки и выполняя дискретную диффузию внутри каждого блока. Настраивая размер блока, мы интерполируем модели авторегрессии и диффузии, что приводит к компромиссу между качеством и эффективностью выборки. Мы предлагаем рецепт построения эффективных BD3-LM, который включает эффективный алгоритм обучения, средства оценки дисперсии градиента и графики шума на основе данных для минимизации дисперсии. BD3-LM — это блочные языковые модели диффузии с дискретным шумоподавлением. Они объединяют сильные стороны авторегрессионной и диффузной языковых моделей, разлагая последовательность токенов на блоки и выполняя дискретную диффузию внутри каждого блока.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: kuleshov-group
Теги: bd3lm, fill-mask, diffusion, autoregressive, language-modeling, custom_code
Лайков: 18 | Загрузок: 598
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
