Orthrus — это простая и эффективная платформа с двойной архитектурой, которая объединяет точную точность генерации авторегрессионных моделей большого языка (LLM) с высокоскоростной параллельной генерацией токенов диффузионных моделей. Дополняя замороженный предварительно обученный LLM легким обучаемым диффузионным модулем, Orthrus обеспечивает значительно ускоренный вывод без ущерба для качества вывода. — Репозиторий: https://github.com/chiennv2000/orthrus — Архитектура: двойное внимание (база авторегрессии + головка параллельной диффузии) — Значительное ускорение вывода: устраняет узкое место последовательного стандартного авторегрессионного декодирования, обеспечивая ускорение выполнения задач генерации до $7,8раз$. — Генерация строго без потерь: используется точный механизм консенсуса внутри модели, чтобы гарантировать, что выходные данные соответствуют точному прогнозируемому распределению исходной базовой модели. — Нулевые избыточные затраты памяти: как авторегрессионное, так и диффузионное представление изначально используют один и тот же высокоточный кеш-ключ-значение (KV), что приводит к накладным расходам только в размере $O(1)$. — Эффективность параметров: возможности параллельной генерации реализуются путем точной настройки только 16% общих параметров модели…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: chiennv
Теги: qwen3, diffusion, parallel-decoding, orthrus, conversational, custom_code, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 747
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
