Этот репозиторий содержит контрольную точку вывода и демонстрационный код для Neural CTMC, дискретной диффузионной модели, основанной на цепях Маркова с непрерывным временем (CTMC). В отличие от предыдущих методов, которые параметризовали матрицу обратной скорости как монолитный объект, Neural CTMC отдельно параметризует скорость выхода (когда прыгать) и распределение прыжков (где прыгать) через две выделенные сетевые головки, выравнивая параметризацию с внутренней декомпозицией CTMC. Эта контрольная точка обучена на OpenWebText с равномерным прямым процессом и, насколько нам известно, является первой контрольной точкой с открытым исходным кодом для однородно-шумовой дискретно-диффузионной языковой модели. Генеративное недоумение (оцениваемое Gemma-2, чем ниже, тем лучше) на OpenWebText: Neural CTMC достигает наилучшего генеративного недоумения среди методов с равным бюджетом (262B) во всех подсчетах шагов и остается конкурентоспособным с SEDD, несмотря на использование в 2,6 раза меньшего количества обучающих токенов. Модель генерирует текст посредством обратной диффузии по дискретным последовательностям маркеров с использованием семплера Эйлера: 1. Инициализируйте последовательность равномерно случайных токенов длиной 512. 2. Итеративно шуметь для n шагов Эйлера: на каждом шаге модель прогнозирует скорость выхода для каждого токена $lambda^thetat $ и…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Jiangxy1117
Теги: diffusion, ctmc, discrete-diffusion, en
Лайков: 3 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
