Интроспективная языковая модель диффузии (32B) — языковая модель диффузии, преобразованная из Qwen3-32B, которая соответствует качеству AR, но при этом обеспечивает параллельную генерацию токенов. — Соответствует качеству Qwen3-32B по 15 тестам (знания, математика, код, выполнение инструкций) — Интроспективное пошаговое декодирование (ISD): однопроходная генерация + проверка с критерием приемки p/q — Обслуживание, совместимое с AR, через SGLang (постраничный кэш KV, непрерывная пакетная обработка, графики CUDA) > Примечание. Эта контрольная точка модели размещена на HuggingFace для распределения веса. > Для вывода используйте наш ISD-конвейер на базе SGLang, > который реализует алгоритм интроспективного пошагового декодирования, описанный в статье. > Прямая загрузка через преобразователи в настоящее время не поддерживается для воспроизведения бумажных результатов. См. README вывода для подробной настройки, оценки и сравнительного анализа. I-DLM восстанавливает интроспективную согласованность (присущее AR-моделям самосогласование) посредством: 1. Строгого причинно-следственного маскирования как для замаскированных, так и для чистых токенов. 2. Логит-сдвиг (сдвиг мечты): скрытое состояние в позиции i прогнозирует токен i+1. 3. Обучение по всем маскам: потеря CE как на зашумленных, так и на чистых позициях токенов.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: yifanyu
Теги: sdar, diffusion-lm, introspective-decoding, conversational, custom_code, en
Лайков: 6 | Загрузок: 333
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
