nvidia/Efficient-DLM-8B

📄 Технический отчет &nbsp&nbsp|&nbsp&nbsp 🤗 Efficient-DLM-4B &nbsp&nbsp|&nbsp&nbsp 🤗 Efficient-DLM-8B Efficient-DLM-8B — это базовая модель диффузного языка, предназначенная для параллельной генерации. Он преобразует предварительно обученные AR LM в диффузные LM посредством эффективного непрерывного предварительного обучения, обеспечивая более быстрое декодирование, сохраняя при этом точность задач сильных AR-моделей. Efficient-DLM обеспечивает блочное внимание с очисткой контекста для декодирования, удобного для KV-кэша, а также позиционно-зависимое маскирование токенов для уменьшения несоответствия обучения и теста при диффузной генерации. Более подробную техническую информацию можно найти в нашей статье.

Модальности:
Генерация текста

Области применения:
Диалог / чат

Задача: Генерация текста
Автор: nvidia
Теги: qwen3, feature-extraction, conversational, custom_code, text-generation-inference, endpoints_compatible
Лайков: 12  |  Загрузок: 497

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.