Многопоточный вариант Qwen3.5-27B (гибрид DeltaNet), который генерирует десять параллельных потоков (1 входной, 1 видимый выходной, 8 мыслительных каналов) одновременно за временной шаг. Один прямой проход создает токен следующей строки для каждого потока; токены внутри строки не могут видеть друг друга (блок-каузальное внимание), но каждый поток может обрабатывать токены каждой предыдущей строки. Эта модель была обучена для экспериментов по мониторингу, описанных в разделе 7, чтобы выяснить, сможем ли мы обучить универсальную модель, настроенную на инструкции, с 8 внутренними потоками, и при этом сохранить ее смысл. Таким образом, внутренние потоки не всегда полезны, но они согласованы и (в лучшем случае) реагируют друг на друга и на пользовательский поток. Тем не менее, это все еще исследовательский прототип. — База: Qwen3.5-27B, гибридное полное внимание + линейное внимание GatedDeltaNet (полное внимание каждый 4-й уровень; 48 слоев DeltaNet). — Встраивание каналов: к встраиваниям токенов добавлено 10 изученных векторов, определяющих, какому каналу принадлежит каждый токен. — Причинно-блочное внимание: для каждой строки все токены C=10 видят предыдущие строки и самих себя, но никогда не видят своих одноранговых элементов в той же строке. Реализовано с помощью специальной 4D-маски и маскировки в режиме столбца в GatedDeltaNet…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: JonasGeiping
Теги: qwen3_5_text, stream-llm, multi-stream, parallel-cognition, monitorability, qwen3.5, deltanet, custom_code
Лайков: 13 | Загрузок: 423
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
