Он был создан с помощью скрипта BlockMerge Gradient, того же, который использовался для создания MythoMax-L2-13b, и с теми же настройками. Был использован следующий YAML: Обе базовые модели используют формат Alpaca, поэтому его следует использовать и для этой модели. Я провел быстрый эксперимент, задав набор из 3 вопросов по Python и 3 вопросов по Javascript (реальный мир, сложные вопросы с нюансами) следующим моделям: 1) Эта 2) Второй вариант, сгенерированный с использованием modelpath1 и modelpath2, поменянных местами в приведенном выше YAML, который я назвал CodeBooga-Reversed-34B-v0.1 3) WizardCoder-Python-34B-V1.0 4) Phind-CodeLlama-34B-v2 В частности, я использовал квантование 4.250b EXL2 каждого из них. Затем я отсортировал ответы на каждый вопрос по качеству и присвоил следующие оценки: CodeBooga-34B-v0.1: 22 WizardCoder-Python-34B-V1.0: 12 Phind-CodeLlama-34B-v2: 7 CodeBooga-Reversed-34B-v0.1: 1 CodeBooga-34B-v0.1 показал себя очень хорошо, в то время как его вариант работало плохо, поэтому я загрузил первое, а не второе. TheBloke любезно предоставил квантование GGUF для llama.cpp:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: oobabooga
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 147 | Загрузок: 9,016
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
