Закрытые адаптеры LoRA, которые превращают петлевую модель Nanbeige4.2-3B (22 слоя × 2 петли) в диффузионный драйвер без потерь, следующий за UNO. Каждый шаг декодирования отображает 8 маркеров за один прямой проход, и замороженная базовая модель проверяет их, поэтому выходное распределение точно соответствует базовой модели. — Страница проекта: https://fengsxy.github.io/LoopUno/ — Код: https://github.com/fengsxy/LoopUno — Базовая модель: Nanbeige/Nanbeige4.2-3B (заморожена, веса не включены) — Адаптер: LoRA r = 128, α = 2048 на q, k, v, o, gate, up and down проекциях, активен только на шумовых рядах — Размер блока: 8 · токен маски: 166107 · стоп-токен: 166101 Сквозной выход токен/с против AR декодирования той же модели по тем же подсказкам. TPF — это токены, принимаемые за шаг декодирования (AR = 1,00). Точность BFCL составляет 87,2% для AR и 87,5% для UNO при жадном декодировании; точность gsm8k остается на уровне 93–96% против 96,0% для AR, в пределах шума выборки. modelcode/` содержит код конфигурации и моделирования для обучающей оболочки UNO: моделирование SDAR-блока-диффузии из ifm-ai/UNO, исправленное для двух циклов и без QK-нормы. Затем загрузите папку адаптера с PEFT или передайте ее как закрытый путь LoRA к декодеру UNO с размером блока 8, маркером маски 166107 и стоп…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: liddlefish
Теги: peft, speculative-decoding, diffusion, lora, looped-transformer, uno
Лайков: 3 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
