Arcade-3B — это 3B-модель следования инструкциям и рассуждениям, построенная на основе SmolLM3-3B. Это первый публичный релиз проекта ARCADE в NoesisLab, который исследует гипотезу ортогональности состояния и ограничений: стандартные скрытые состояния Transformer объединяют фактическое содержание и структуру рассуждений в одном и том же подпространстве, а их явное разделение улучшает обобщение. SCOrthoTrainer от ARCADE вводит штраф за ортогональность в последний скрытый слой, поощряя S и C отделяться в пространстве представления без изменения каких-либо операторов внимания: cdot mathbf{C}_{b,l} right)^2$$ с λ = 0,1. Эта мягкая регуляризация уменьшает ошибки расхождения во время вывода при нулевых архитектурных затратах. Образцы рассуждений обернуты тегами … и подвергнуты 10-кратному повышению дискретизации, чтобы компенсировать небольшой размер набора данных. ———|————|————|————|—————|——————|
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: NoesisLab
Теги: smollm3, smollm, smolreasoner, reasoning, instruction-tuned, arcade, sc-orthogonal, conversational
Лайков: 8 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
