Это объединение предварительно обученных языковых моделей Mistral 7B, созданных с помощью mergekit. Благодаря этому слиянию мы исследуем уплотнение слиянием — подход слияния, который пытается перенести и адаптировать некоторые преимущества более плотных моделей. Очень креативная модель, которая сама была объединена из нескольких плотных моделей, была объединена с очень небольшим весом, чтобы слегка изменить базовую модель. Ожидалось, что результат улучшит изменчивость выпуска без существенного влияния на согласованность базовой модели. Протестировано с использованием шаблонов инструкций ChatML, температуры 1,0 и minP 0,02. Практическая длина контекста должна быть не менее 16 КБ. Дополнительный вес слияния модели 0,02 был выбран намеренно, чтобы соответствовать настройке minP. — Полные веса: grimjim/kunoichi-lemon-royale-v3-32K-7B — Кванты GGUF: grimjim/kunoichi-lemon-royale-v3-32K-7B-GGUF Эта модель была объединена с использованием метода арифметического слияния задач с использованием grimjim/kunoichi-lemon-royale-v2-32K-7B в качестве основы. Следующая модель также была включена в слияние: * grimjim/rogue-enchantress-32k-7B Для создания этой модели использовалась следующая конфигурация YAML:
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: grimjim
Теги: mistral, mergekit, merge, conversational, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
