Этот репозиторий содержит контрольные точки для XDLM, представленные в документе Balancing Understanding and Generation in Discrete Diffusion Models. В дискретном генеративном моделировании две доминирующие парадигмы демонстрируют расходящиеся возможности: модели языка маскированной диффузии (MDLM) отличаются семантическим пониманием и обобщением с нулевым выстрелом, тогда как модели языка диффузии с равномерным шумом (UDLM) достигают сильного качества генерации с несколькими шагами, но ни одна из них не достигает сбалансированной производительности по обоим измерениям. Для решения этой проблемы мы предлагаем XDLM, который соединяет две парадигмы через стационарное шумовое ядро. XDLM предлагает два ключевых вклада: (1) он обеспечивает принципиальную теоретическую унификацию MDLM и UDLM, восстанавливая каждую парадигму как частный случай; и (2) облегченное узкое место в памяти, обеспечиваемое алгебраическим упрощением апостериорных вероятностей. Эксперименты показывают, что XDLM продвигает границу Парето между пониманием возможностей и качеством генерации. В количественном отношении XDLM превосходит UDLM на 5,4 пункта в тестах с нулевым отпечатком текста и превосходит MDLM в нескольких шагах генерации изображений (FID 54,1 против 80,8). При масштабировании для настройки большой языковой модели с 8B-параметрами XDLM…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Mzero17
Лайков: 3 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
