BAR (Branch-Adapt-Route) — это модульный подход после обучения, который расширяет полностью обученную языковую модель новыми возможностями предметной области с помощью независимо обученной группы экспертов. Вместо переобучения одной модели во всех областях BAR обучает независимых экспертов в предметной области — каждый посредством своего собственного промежуточного обучения, контролируемой точной настройки (SFT) и конвейера обучения с подкреплением — и объединяет их в единую модель через архитектуру MoE с упрощенным обучением маршрутизаторов. — BAR-7B — начальная плотная модель 7B, полностью прошедшая обучение (начальная точка) — BAR-2x7B-Base — MoE с двумя экспертами (привязка + базовая предварительно обученная модель) — BAR-2x7B-Math-SFT — эксперт по математике после промежуточного обучения и SFT — BAR-2x7B-Math — эксперт по математике после промежуточного обучения + SFT + RLVR — BAR-2x7B-Code-SFT — эксперт по кодированию после промежуточного обучения и SFT — BAR-2x7B-Code — эксперт по кодированию после промежуточного обучения + SFT + RLVR — BAR-2x7B-Tool-Use — эксперт по использованию инструментов (только SFT) — BAR-2x7B-Safety — эксперт по безопасности (только SFT) — BAR-5x7B — окончательный MoE из 5 экспертов, объединяющий всех экспертов с обученным маршрутизатором Оценки представляют собой невзвешенные средние значения по критериям в каждой категории. См. документ для получения результатов по каждому тесту и полной информации об оценке. Данная модель лицензирована…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: allenai
Теги: flex_olmo, bar, mixture-of-experts, olmo, conversational, endpoints_compatible
Лайков: 5 | Загрузок: 164
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
