Мы предлагаем языковую модель последовательного распространения (SDLM), чтобы дешево стимулировать возможности параллельного прогнозирования моделей распространения. В частности, SDLM уменьшает сдвиг распределения, ограничивая диапазон прогнозирования фиксированной длиной блока и обеспечивает порядок декодирования с помощью метода декодирования с самым длинным префиксом, тем самым значительно повышая эффективность прогнозирования, обеспечивая при этом качество генерации. Наш метод можно рассматривать как дальнейшее обобщение парадигмы авторегрессии (AR). Таким образом, можно использовать предварительно обученные веса AR и быстро перейти к диффузной структуре с минимальной точной настройкой инструкций. SDLM обеспечивает высокую производительность и значительно более высокую скорость декодирования. Он работает примерно в 2 раза быстрее, чем сопоставимые модели авторегрессии, сохраняя при этом их точность, и обеспечивает ускорение до 5 раз по сравнению с другими моделями диффузного языка, о чем свидетельствуют результаты теста MATH-500. — Авторегрессия: прогнозирует токены один за другим. — Распространение: восстанавливает все жетоны на каждом этапе. — SDLM (наш): декодирует D токенов за шаг, затем сохраняет n самых длинных последовательных токенов (1 ≤ n ≤ D). Кэшированные токены используются повторно, экономя вычисления. В…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: OpenGVLab
Теги: qwen2, sdlm, diffusion language model, custom_code, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 18 | Загрузок: 47
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
