> Модель скоро будет доступна для свободного скачивания! Эти модели недостаточно обучены и НЕ предназначены для завершения. Это только исследовательские артефакты. > Архитектура !SpikeWhale-SNN Каждый нейрон из 4 сложенных друг на друга слоев LIF окрашен в соответствии с доминантной генной программой и имеет размер в соответствии с выученной рекуррентной связкой. Отображается прямо из контрольной точки с помощью src/scripts/visualizearchitecture.py — данные для обучения не требуются.* Языковая модель импульсной нейронной сети (SNN) с ~216 млн параметров, созданная полностью с нуля. Это оригинальный проект SpikeWhale, который положил начало всем остальным проектам SpikeWhale. Каждый пиковый примитив здесь написан вручную на простом PyTorch: динамика нейронов с утечкой интегрирования и запуска (LIF), быстрый сигмовидный суррогатный градиент и цикл обучения обратного распространения во времени. Ни snntorch, ни spikingjelly, ни norse, ниbindsnet`** — сеть представляет собой настоящую SNN, созданную с нуля. 1. Биологический «мост». Возбудимость каждого нейрона (порог срабатывания, бета-распад мембраны, входное усиление) модулируется замороженной моделью генной программы виртуальной клетки. Каждому скрытому нейрону назначается нокдаун гена; клеточная модель предсказывает, что возмущения повлияют на шесть генных программ, и что…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Quazim0t0
Теги: spiking-neural-network, snn, leaky-integrate-and-fire, surrogate-gradient, from-scratch, language-model, spikewhale, neuromorphic
Лайков: 5 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
