22.03.2024 — На сегодняшний день louisbrulenaudet/Pearl-34B-ties является «Лучшей 🤝 базовой моделью слияний и объединений около 30B» в таблице лидеров Open LLM. Pearl-34B-ties представляет собой объединение следующих моделей: jondurbin/bagel-dpo-34b-v0.2 abacusai/MetaMath-Bagel-DPO-34B. Оценка проводилась с использованием таблицы лидеров HuggingFace Open LLM. TIES-Merging — это метод, предназначенный для облегчения эффективного объединения нескольких моделей, специфичных для конкретных задач, в консолидированную многозадачную модель. В нем рассматриваются две основные проблемы, возникающие в процессе слияния моделей, с упором на сохранение объективности. Одна из ключевых задач, решаемых TIES-Merging, связана с устранением избыточности параметров модели. Это достигается за счет выявления и устранения избыточных параметров в моделях для конкретных задач, подчеркивания изменений, внесенных во время тонкой настройки, и выборочного сохранения топ-k% наиболее значимых изменений при отбрасывании остальных. Другая проблема связана с конфликтами, возникающими из-за разногласий между знаками параметров в разных моделях. TIES-Merging разрешает эти конфликты, создавая единый вектор знаков, представляющий наиболее доминирующее направление изменений во всех моделях. — Обрезка: уменьшает…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: louisbrulenaudet
Теги: llama, merge, mergekit, jondurbin/bagel-dpo-34b-v0.2, abacusai/MetaMath-Bagel-DPO-34B, conversational, en, model-index
Лайков: 5 | Загрузок: 65
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
