Интерпретируемая языковая модель причинно-следственной диффузии с управлением концепциями. Steerling-8B — это языковая модель с 8 миллиардами параметров, которая сочетает в себе маскированную диффузию с интерпретируемой декомпозицией понятий. В отличие от стандартных авторегрессионных LLM, Стирлинг генерирует текст путем итеративного разоблачения токенов в порядке достоверности и разлагает его внутренние представления на понятные человеку концепции, которые можно проверять и управлять ими. Стирлинг использует блочно-каузальное внимание, двунаправленное внутри блока и причинно-следственное между блоками. Интерпретируемые головки концепций разлагают скрытые состояния преобразователя на: — известные функции: взвешенная сумма топ-k вложений изученных концепций (интерпретируемые и сопоставляемые с понятными функциями) — неизвестные функции: остаток, захваченный факторизованной неизвестной головкой (101 196 концепций, ранг 256) — эпсилон: небольшая поправка для точности реконструкции Набор данных Nemotron-CC включает синтетические данные, сгенерированные сторонними моделями (Qwen, DeepSeek). Пользователям следует ознакомиться с применимыми условиями лицензии для предполагаемого варианта использования. Исходный код Стерлинга и веса модели выпускаются по лицензии Apache 2.0. Веса моделей предоставлены для исследовательских и оценочных целей.…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: guidelabs
Теги: steerling, causal_diffusion, causal-diffusion, interpretability, concept-steering, masked-diffusion, block-causal, en
Лайков: 106 | Загрузок: 1,598
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
