Интроспективная языковая модель диффузии (8B) — языковая модель диффузии, преобразованная из Qwen3-8B, которая соответствует качеству AR, но при этом обеспечивает параллельную генерацию токенов. — Первый DLM, обеспечивающий одинаковое качество AR в 15 тестах — Интроспективное пошаговое декодирование (ISD): однопроходная генерация + проверка с критерием приемки p/q — AR-совместимое обслуживание через SGLang (страничный кэш KV, непрерывная пакетная обработка, графики CUDA) — Пропускная способность в 2,9–4,1 раза выше, чем предыдущие DLM при высоком уровне параллелизма > Примечание. Эта контрольная точка модели размещена на HuggingFace для распределения веса. > Для вывода используйте наш ISD-конвейер на базе SGLang, > который реализует алгоритм интроспективного пошагового декодирования, описанный в статье. > Прямая загрузка через преобразователи в настоящее время не поддерживается для воспроизведения бумажных результатов. См. README вывода для подробной настройки, оценки и сравнительного анализа. I-DLM восстанавливает интроспективную согласованность (присущее моделям AR самосогласование) посредством: 1. Строгого причинно-следственного маскирования как для замаскированных, так и для чистых токенов. 2. Логит-сдвиг (сдвиг мечты): скрытое состояние в позиции i предсказывает токен i+1.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: yifanyu
Теги: sdar, feature-extraction, diffusion-lm, introspective-decoding, conversational, custom_code, en
Лайков: 11 | Загрузок: 13,663
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
