Мое первое успешное слияние Dare-Ties. Из-за разницы в токенизаторах типов моделей (также bf16 и f16) пришлось также использовать Slerp. Кажется, работает хорошо! Сделал местный lm-eval, и HellaSWAG дает мне около 84,5, что кажется приличным. также отправим это на оценку в таблицу лидеров openLLM. Предустановкой для этого должен быть ChatML, но стандартные предустановки по умолчанию тоже должны работать нормально. Это объединение предварительно обученных языковых моделей, созданных с помощью mergekit. Эта модель была объединена с использованием метода слияния DARE TIES с использованием когнитивных вычислений/dolphin-2.8-mistral-7b-v02 в качестве основы. В объединение были включены следующие модели: * senseable/WestLake-7B-v2 Для создания этой модели использовалась следующая конфигурация YAML:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Noodlz
Теги: mistral, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
