Скомпилированный вручную преобразователь, который выполняет байт-код WebAssembly посредством реальных прямых проходов. Каждый вес устанавливался компилятором, а не градиентным спуском. Никаких обучающих данных, никакой функции потерь, никакого оптимизатора. Просто линейная алгебра. Это полноценный интерпретатор байт-кода WASM, реализованный в виде нейронной сети-трансформера. Учитывая программу WASM в качестве входных токенов, она авторегрессионно генерирует трассировку выполнения — по одному выходному байту за раз — используя реальные умножения матриц, реальное внимание и реальные сетевые вычисления с прямой связью. Нейроны FFN реализуют арифметику, сравнения и побитовую логику посредством шлюзования SwiGLU. Головки внимания извлекают операнды и значения стека посредством сопоставления квадратичных ключей. Глубина стека вычисляется внутри с помощью блока внимания с кумулятивной суммой — никаких предварительно вычисленных значений глубины не требуется. В результате извлечения числовые результаты преобразуются в прогнозы токенов с помощью трюка с квадратичным подсчетом очков. Преобразователь поддерживает ввод-вывод файловой системы (открытие, чтение, запись, закрытие по 4 файловым дескрипторам) и структурированные циклы с кратким условным ветвлением, выполняя циклы до 256 итераций через непрерывную трассировку с механизмом циклического позиционного кодирования. В отличие от стандартных трансформаторов, каждый…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: eastlondoner
Теги: wasm-interpreter-transformer, wasm, interpreter, hand-compiled, bytecode-execution, mechanistic, not-trained, sum-attention
Лайков: 6 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
