Первая языковая модель SNN с импульсным MoE, зональной специализацией и корой памяти, обученная с нуля. Nord v4.2 — это полная архитектурная перестройка версии v3. Ключевой прорыв: модель самоорганизуется в функционально различные зоны мозга во время тренировки: сенсорные зоны обучаются низкой скорости стрельбы, исполнительные зоны обучаются высокой скорости стрельбы без явного контроля. Nord v4.2 — это импульсная нейронная сеть (SNN) со 140 млн параметров для генерации текста. Он использует биологические нейроны Leaky Integrate-and-Fire с мембранными потенциалами, порогами срабатывания и бинарными спайками. В отличие от трансформеров, где на каждый токен активируется 100% нейронов, Норд активирует только 3-9% — при этом разные зоны мозга специализируются на разных функциях. Обучение полностью с нуля — без преподавателя-трансформера, без дистилляции, без преобразования ANN в SNN. — Ассоциативные нейроны LIF — Изучаемые константы времени мембраны, пороги напряжения, синаптические токи, каскадное усиление в 64 нейронных кластерах — Суррогатный градиент ATan — Дифференцируемая функция импульсов для обратного распространения ошибки — МоЭ, управляемый спайками — Экспертная маршрутизация, основанная на активности кластерных импульсов, а не плотных сетях — Кора памяти —…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: zerdovzad
Теги: snn, spiking-neural-network, neuromorphic, language-model, from-scratch, energy-efficient, mixture-of-experts, brain-inspired
Лайков: 8 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
