🧬 Genesis-152M-Instruct Исследовательская модель малого языка с гибридным линейным вниманием Genesis-152M-Instruct — это экспериментальная модель малого языка, которая сочетает в себе последние достижения в области эффективных механизмов внимания в единой архитектуре. Он служит исследовательской платформой для изучения: — Гибридного внимания: сочетание линейного внимания O(n) с softmax вниманием O(n²) — Эффективного вывода: субквадратичной сложности для большинства слоев — Адаптивных вычислений: обучения во время тестирования для адаптации динамической модели > ⚠️ Экспериментальная модель: это исследовательский артефакт, а не готовая к производству модель. Он демонстрирует архитектурные инновации, но имеет ограничения, типичные для небольших моделей. Основным механизмом внимания (75% слоев) является Gated DeltaNet, современный механизм линейного внимания O(n) от NVIDIA. Обновление дельта-правила позволяет модели выборочно записывать и удалять из рекуррентного состояния: Где: — St: Матрица рекуррентных состояний — αt: шлюз забывания (зависит от данных) — βt`: шлюз скорости обучения (на каждый токен) > 📖 Документ: Gated Delta Networks: Улучшение Mamba2 с помощью дельта-правила (ICLR 2025) > > 📦 Код: NVlabs/GatedDeltaNet Где fk = sigmoid(Wf @ xk)` — это заученные ворота забывания, которые, естественно…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: guiferrarib
Теги: genesis-llm, small-llm, custom-architecture, linear-attention, gated-deltanet, test-time-training, hybrid-attention, research
Лайков: 17 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
