Этот репозиторий моделей содержит модель SDLM-3B-D4, представленную в документе «Языковые модели последовательного распространения». Мы предлагаем языковую модель последовательного распространения (SDLM), чтобы дешево стимулировать возможности параллельного прогнозирования моделей распространения. В частности, SDLM уменьшает сдвиг распределения, ограничивая диапазон прогнозирования фиксированной длиной блока и обеспечивает порядок декодирования с помощью метода декодирования с самым длинным префиксом, тем самым значительно повышая эффективность прогнозирования, обеспечивая при этом качество генерации. Наш метод можно рассматривать как дальнейшее обобщение парадигмы авторегрессии (AR). Таким образом, можно использовать предварительно обученные веса AR и быстро перейти к диффузной структуре с минимальной точной настройкой инструкций. В следующей таблице представлен обзор серии SDLM. Мы предлагаем метод последовательного блочного маскированного прогнозирования, который уменьшает накопление ошибок при генерации на основе диффузии. Наш метод основан на наблюдении, что прогнозы для токенов с более низкими позиционными индексами обычно выигрывают от более надежной контекстной информации, что приводит к меньшему отклонению и повышению точности. (а) Программа обучения. Изменение порядка ввода позволяет…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: OpenGVLab
Теги: qwen2, sdlm, diffusion language model, custom_code, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 20
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
