22.03.2024 — На сегодняшний день louisbrulenaudet/Pearl-34B-ties является «Лучшей 🤝 базовой моделью слияний и объединений около 30B» в таблице лидеров Open LLM. Pearl-7B-slerp представляет собой объединение следующих моделей: mlabonne/OmniBeagle-7B WizardLM/WizardMath-7B-V1.1. Оценка проводилась с использованием таблицы лидеров HuggingFace Open LLM. Сферическая линейная интерполяция (SLERP) служит методом плавной интерполяции между двумя векторами, сохраняя при этом постоянную скорость изменения и сохраняя геометрические свойства сферического пространства, в котором существуют эти векторы. Выбор SLERP вместо традиционной линейной интерполяции мотивирован различными соображениями. Линейная интерполяция в многомерных пространствах может привести к уменьшению величины интерполируемого вектора, уменьшая масштаб весов. Кроме того, во многих случаях изменение направления весов передает более значимую информацию, такую как обучение и представление признаков, по сравнению с величиной изменения. $$ {displaystyle operatorname {slerp} (p{0},p{1};t)={frac {sin {[(1-t)Omega }]}{sin Omega }}p{0}+{frac {sin[tOmega ]}{sin Omega }}p{1}.}$$ Реализация SLERP включает в себя…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: louisbrulenaudet
Теги: mistral, merge, mergekit, Maths, Mistral, en, model-index, text-generation-inference
Лайков: 8 | Загрузок: 158
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
