Это объединение предварительно обученных языковых моделей, созданных с помощью mergekit. Мы рассматриваем слияние с чрезвычайно низким весом в качестве альтернативы «тонкой настройке». Дополнительная модель применялась с весом 10e-5, который был выбран сопоставимым с несколькими эпохами обучения. Малый вес также означает, что дополнительная модель сплющена, хотя технически она не урезана. Эта модель была объединена с использованием метода арифметического слияния задач с использованием grimjim/kukulemon-32K-7B в качестве основы. В объединение была включена следующая модель: * grimjim/rogue-enchantress-32k-7B Для создания этой модели использовалась следующая конфигурация YAML:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: grimjim
Теги: mistral, mergekit, merge, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
