Это откровенное слияние предварительно обученной языковой модели, созданной с помощью mergekit. В качестве эксперимента это кажется частичным успехом. Слегка протестировано с температурой 1–1,2 и minP 0,01 с подсказками ChatML; Модель поддерживает подсказки Alpaca и имеет длину контекста 8 КБ, что является результатом происхождения Mistral v0.1. Результаты модели были последовательными и стабильными во время вышеупомянутого тестирования. Формула слияния для этого франкенмержа приведена ниже. Предполагается, что более короткий первый раздел не является ключом к вариациям, средний сегмент является ключом к балансированию рассуждений и вариаций, а длинный заключительный раздел необходим для конвергенции и возможной стабильности. Внутренняя нестабильность, вероятно, лучше подходит для повествования с участием нестабильных и/или неуравновешенных персонажей и ситуаций. В объединение были включены следующие модели: * grimjim/kukulemon-7B Для создания этой модели использовалась следующая конфигурация YAML:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: grimjim
Теги: mistral, mergekit, merge, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 107
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
