Это ранняя контрольная точка (EC) архитектуры NeuroBLAST V3, новой гибридной модели, разработанной с использованием биологически вдохновленной «кортикальной» структуры. Эта конкретная контрольная точка (150 тысяч шагов) представляет собой фазу «предраспада» обучения. Он был обучен на коротких контекстах с высокой скоростью обучения и предназначен для архитектурной оценки и исследовательских целей. Архитектура: NeuroBLAST V3 (Пользовательская гибридная архитектура) Шаг контрольной точки: 150 000 Параметры: 596 728 320 Число слоев: 72 Сенсорные слои: 24 Ассоциативные слои: 32 Двигательные слои: 16 Скрытый размер: 512 Размер словарного запаса: 65 538 Промежуточный размер: 3072 Число голов внимания: 16 Количество головок kv: 8 Голова dim: 128 Встраивание связующих слов: Ложный NeuroBLAST отличается от стандартных Трансформеров тем, что использует трехэтапную кортикальную структуру: 1. Сенсорная кора: гибридные слои, чередующиеся между вниманием и расширенными каузальными 2D-конволюциями. 2. Ассоциативная кора: гибридные слои с попеременным использованием RoPE. 3. Моторная кора: слои чистого внимания. 4. Глубокие остаточные мосты: остаточные связи дальнего действия, вводящие исходные внедрения (и их отрицания) между кортикальными стадиями для улучшения распространения сигнала. Эта модель…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: mkurman
Теги: neuroblast, causal-lm, experimental, tpu, conversational, custom_code, en
Лайков: 18 | Загрузок: 32
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
