Jet-Nemotron — это новое семейство языковых моделей с гибридной архитектурой, которые превосходят современные языковые модели полного внимания с открытым исходным кодом, такие как Qwen3, Qwen2.5, Gemma3 и Llama3.2, при этом достигая значительного повышения эффективности — до 53,6-кратного увеличения пропускной способности генерации на графических процессорах H100 (длина контекста 256 КБ, максимальный размер пакета). Он основан на двух основных инновациях: + Поиск пост-нейронной архитектуры, эффективный конвейер исследования и адаптации архитектуры после обучения, применимый к произвольным предварительно обученным моделям преобразователей; + JetBlock, новый линейный блок внимания, который значительно превосходит предыдущие разработки, такие как Mamba2.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: jet-ai
Теги: jet_nemotron, nvidia, conversational, custom_code, en
Лайков: 30 | Загрузок: 2,593
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
