Это расширение предварительно обученных языковых моделей, созданных с помощью mergekit. Этот метод использует метод сквозной передачи mergekit для расширения блоков в модели «CorticalStack/pastiche-crown-clown-7b-dare-dpo». Для каждого пятого слоя добавляется новый слой, при этом параметры oproj и downproj этих добавленных слоев инициализируются нулевым значением, что отражает подход, используемый в LLaMA Pro. В объединение были включены следующие модели: * CorticalStack/pastiche-crown-clown-7b-dare-dpo CorticalStack/pastiche-crown-clown-7b-dare-dpo Набор тестов OpenLLM Для создания этой модели использовалась следующая конфигурация YAML:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: arcee-ai
Теги: mistral, mergekit, merge, CorticalStack/pastiche-crown-clown-7b-dare-dpo, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 83
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
