22.03.2024 — На сегодняшний день louisbrulenaudet/Pearl-34B-ties является «Лучшей 🤝 базовой моделью слияний и объединений около 30B» в таблице лидеров Open LLM. Pearl-7B-0211-ties представляет собой объединение следующих моделей: louisbrulenaudet/Pearl-7B-slerp WizardLM/WizardMath-7B-V1.1 CognitiveComputations/WestLake-7B-v2-laser CultriX/NeuralTrix-7B-dpo. Оценка проводилась с использованием таблицы лидеров HuggingFace Open LLM. TIES-Merging — это метод, предназначенный для облегчения эффективного объединения нескольких моделей, специфичных для конкретных задач, в консолидированную многозадачную модель. В нем рассматриваются две основные проблемы, возникающие в процессе слияния моделей, с упором на сохранение объективности. Одна из ключевых задач, решаемых TIES-Merging, связана с устранением избыточности параметров модели. Это достигается за счет выявления и устранения избыточных параметров в моделях для конкретных задач, подчеркивания изменений, внесенных во время тонкой настройки, и выборочного сохранения топ-k% наиболее значимых изменений при отбрасывании остальных. Другая проблема связана с конфликтами, возникающими из-за разногласий между знаками параметров в разных моделях. TIES-Merging разрешает эти конфликты, создавая единый вектор знаков, представляющий…
Модальности:
Генерация текста
Области применения:
Математика Биология Химия
Задача: Генерация текста
Автор: louisbrulenaudet
Теги: mistral, merge, mergekit, louisbrulenaudet/Pearl-7B-slerp, WizardLM/WizardMath-7B-V1.1, cognitivecomputations/WestLake-7B-v2-laser, CultriX/NeuralTrix-7B-dpo, chemistry
Лайков: 6 | Загрузок: 93
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
