Ниже мы исследуем слияние с отрицательным весом и предлагаем ортогональную векторную адаптацию, или OVA. Это объединение предварительно обученных языковых моделей, созданных с помощью mergekit. Арифметика задач использовалась для инвертирования вектора вмешательства, который применялся в MopeyMule, посредством применения отрицательного веса -1,0. Комбинация весов модели (Instruct — MopeyMule) включает в себя ортогональную векторную адаптацию, которая впоследствии может быть применена к базовой модели Instruct и в принципе может быть применена к другим моделям, полученным в результате тонкой настройки модели Instruct. Эта модель предназначена для продолжения исследования поведенческих изменений, которых можно достичь с помощью ортогонального управления. Результатом стали более восторженные и длинные ответы в чате, хотя также очевидно, что объединенная модель имеет некоторые незалеченные повреждения. Эта модель была объединена с использованием метода арифметического слияния задач с использованием в качестве основы мета-ламы/Мета-Ллама-3-8B-Instruct. В объединение были включены следующие модели: *failspy/Llama-3-8B-Instruct-MopeyMule Для создания этой модели использовалась следующая конфигурация YAML:
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: grimjim
Теги: llama, mergekit, merge, conversational, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
