NOSA — это обучаемый механизм разреженного внимания, предназначенный для разгрузки KV-кэша с явным ограничением локальности в сочетании с системой вывода (NOSI) для реализации его эффективности. Он улучшает качество длинного контекста/длинной генерации по сравнению с базовыми показателями предыдущей разгрузки, одновременно увеличивая пропускную способность декодирования до 5,04× по сравнению с FullAttn, в 1,92× по сравнению с InfLLMv2 и в 1,83× по сравнению с ShadowKV на LLM 1B/3B/8B. Для получения более подробной информации обратитесь к статье: NOSA: Native and Offloadable Sparse Attention. Мы обучаем модели 1B, 3B и 8B FullAttn, InfLLMv2, DMA и NOSA, в результате чего получается 12 моделей. Следующие модели были выпущены на Hugging Face. Если вам потребуются дополнительные базовые модели (FullAttn, InfLLMv2 или DMA), свяжитесь с нами. Вы можете открыть вопрос или связаться с нами напрямую по электронной почте (наши адреса электронной почты указаны в документе).
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: openbmb
Теги: llama, conversational, custom_code, en, zh, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 50
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
