Это объединение предварительно обученных языковых моделей, созданных с помощью mergekit. Подход v7 сработал лучше, чем я думал, поэтому в качестве теста я попробовал кое-что еще более странное. Я не думаю, что получится правильная модель, но мне интересны результаты. Эти модели были объединены с использованием метода SLERP в следующем порядке: maid-yuzu-v8-base: mistralai/Mixtral-8x7B-v0.1 + mistralai/Mixtral-8x7B-Instruct-v0.1 = 0,5 maid-yuzu-v8-step1: выше + jondurbin/bagel-dpo-8x7b-v0.2 = 0,25 maid-yuzu-v8-step2: выше + CognitiveComputations/dolphin-2.7-mixtral-8x7b = 0,25 maid-yuzu-v8-step3: выше + NeverSleep/Noromaid-v0.4-Mixtral-Instruct-8x7b-Zloss = 0,25 maid-yuzu-v8-step4-alter: выше + ycros/BagelMIsteryTour-v2-8x7B = 0,5 maid-yuzu-v8-alter: выше + smelborp/MixtralOrochi8x7B = 0,5 Следующие модели были включены в слияние: smelborp/MixtralOrochi8x7B ../maid-yuzu-v8-step4-alter Для создания этой модели использовалась следующая конфигурация YAML:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: rhplus0831
Теги: mixtral, mergekit, merge, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 4
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
