На этот раз я не только опубликовал модель, но и поделился некоторыми идеями по объединению моделей, которые могут быть даже более ценными, чем сама модель. Начнем с рассмотрения исходной конфигурации слияния (YAML): кажется, что проблем вообще нет? Однако объединенные модели иногда демонстрируют неконтролируемые результаты, вероятно, из-за значительных расхождений между моделями, настроенными с помощью инструкций, и базовыми моделями. Чтобы решить эту проблему, я сначала попытался напрямую интегрировать точно настроенную модель с меньшими отклонениями от базовой модели, например Virtuoso-Small-v2. Хотя проблема неконтролируемого вывода решена, модели по-прежнему не хватает стабильности. Путем практических экспериментов я обнаружил, что сначала объединение моделей с «высокой дивергенцией» (значительно отличающихся от базовой) с моделями с «низкой дивергенцией» (ближе к базе) с использованием метода DELLA, а затем применение метода Model Stock в конечном итоге дает модель, которая не только более стабильна, но и обеспечивает лучшую производительность. Этот подход дал четыре варианта: — Qwen2.5-14B-YOYO-della1 — Qwen2.5-14B-YOYO-della2 — Qwen2.5-14B-YOYO-della3 — Qwen2.5-14B-YOYO-della4 Чтобы улучшить возможности ролевой игры базовой модели и творческого письма, я…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: YOYO-AI
Теги: qwen2, merge, conversational, en, zh, model-index
Лайков: 5 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
