На создание этой модели у меня ушло около 20 попыток. TIES вообще не работал, каждый раз выдавая неверные или почти неудовлетворительные результаты. SLERP работал намного лучше, и всего за три попытки я получил то, что мне понравилось. Sugarquill действительно был склонен к перехвату слияния, поэтому мне пришлось значительно сократить его часть, и все же модель имеет большое влияние. Модель реагирует на форматирование инструкций ChatML точно так же, как базовая модель. Это особенная снежинка, с особенным вкусом. Кажется, они работают довольно хорошо: в слияние были включены следующие модели: allura-org/TQ2.5-14B-Neon-v1 allura-org/TQ2.5-14B-Sugarquill-v1 Для создания этой модели использовалась следующая конфигурация YAML:
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: allura-org
Теги: qwen2, mergekit, merge, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
