DreamOn — это новый алгоритм дискретной диффузии, разработанный для решения проблемы генерации переменной длины при заполнении кода. В отличие от текущих моделей дискретного диффузионного языка, наш подход обеспечивает динамическое расширение и сжатие токенов маски во время вывода, обеспечивая гибкое управление длиной без необходимости заранее определенных размеров холста. — inputids: идентификаторы входных токенов. — maxnewtokens: максимальное количество токенов, которые можно сгенерировать. Обратите внимание, что длина контекста (ввод+вывод) Dream в настоящее время составляет 2048. И маска, добавленная в приглашение, считается новыми токенами. Поэтому для maxnewtokens не может быть установлено значение меньше, чем количество токенов маски в приглашении. Например, если вы установили номер маски равным 4, то maxnewtokens должно быть не менее 4. — история вывода: возвращать ли выходные данные на каждом промежуточном этапе. — returndictingenerate: формат вывода, чаще всего установленный на True. — Numberoftransfertokens: количество токенов, которые нужно предсказать на каждом этапе шумоподавления. В основном мы тестируем нашу модель с номером токена перевода, равным 1. Другие настройки не тестировались полностью. — температура: значение, используемое для модуляции вероятностей следующего токена. По умолчанию 0.0. Чем меньше значение, тем точнее…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Dream-org
Теги: Dream, feature-extraction, conversational, custom_code
Лайков: 18 | Загрузок: 901
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
