GKA-primed-HQwen3-8B-Reasoner — это гибридная языковая модель, состоящая из 50% слоев внимания и 50% слоев стробированного KalmaNet (GKA), загрунтованных из Qwen3-8B с использованием конвейера заводской прайминга гибридной модели. Модель обучена длинноконтекстным рассуждениям и поддерживает длину контекста 128K токенов. GKA (произносится как gee-ka) — это слой модели состояния-пространства, вдохновленный фильтром Калмана, который решает задачу онлайн-регрессии во время теста с постоянной памятью и линейной стоимостью вычислений в длине последовательности. Комбинируя Attention с GKA, наша гибридная модель обеспечивает до 2раз более быстрый вывод в длинных контекстах, при этом точно соответствует качеству базового трансформатора. — 📄 Gated KalmaNet paper (CVPR 2026) — 💻 GitHub: Hybrid Model Factory Каждая загрунтованная гибридная модель инициализируется из базового трансформатора путем преобразования части его слоев внимания в слои модели состояния-пространства (SSM), которые поддерживают рекуррентное состояние фиксированного размера вместо растущего кэша KV. При соотношении гибридов 50% примерно половина кэша KV (который линейно растет с длиной последовательности) заменяется состоянием SSM фиксированного размера. Практические преимущества: — Более высокая пропускная способность в длинных контекстах — меньше памяти в кэше KV означает больше памяти для…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: amazon
Теги: hybrid_qwen3, hybrid, ssm, state-space-model, linear-attention, gated-kalmanet, priming, long-context
Лайков: 4 | Загрузок: 5,363
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
