NOSA — это обучаемый механизм разреженного внимания, предназначенный для разгрузки KV-кэша с явным ограничением локальности в сочетании с системой вывода (NOSI) для реализации его эффективности. Он улучшает качество длинного контекста/длинной генерации по сравнению с базовыми показателями предыдущей разгрузки, одновременно увеличивая пропускную способность декодирования до 5,04× по сравнению с FullAttn, в 1,92× по сравнению с InfLLMv2 и в 1,83× по сравнению с ShadowKV на LLM 1B/3B/8B. Этот репозиторий содержит веса для модели NOSA-3B. Для получения более подробной информации обратитесь к статье: NOSA: Native and Offloadable Sparse Attention. Мы обучаем модели 1B, 3B и 8B (FullAttn, InfLLMv2, DMA и NOSA), в результате чего получается 12 моделей. Следующие модели были выпущены на Hugging Face: Если вам потребуются дополнительные базовые модели (FullAttn, InfLLMv2 или DMA), свяжитесь с нами. Вы можете открыть вопрос или связаться с нами напрямую по электронной почте (наши адреса электронной почты указаны в документе).
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: openbmb
Теги: llama, conversational, custom_code, en, zh, text-generation-inference, endpoints_compatible
Лайков: 10 | Загрузок: 1,225
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
