LoneStriker/CodeBooga-34B-v0.1-4.0bpw-h6-exl2 - Каталог нейросетей
Генерация текста

LoneStriker/CodeBooga-34B-v0.1-4.0bpw-h6-exl2

Добавлено:
LoneStriker/CodeBooga-34B-v0.1-4.0bpw-h6-exl2

Он был создан с помощью скрипта BlockMerge Gradient, того же, который использовался для создания MythoMax-L2-13b, и с теми же настройками. Был использован следующий YAML: Обе базовые модели используют формат Alpaca, поэтому его следует использовать и для этой модели. Я провел быстрый эксперимент, задав набор из 3 вопросов по Python и 3 вопросов по Javascript (реальный мир, сложные вопросы с нюансами) следующим моделям: 1) Эта 2) Второй вариант, сгенерированный с использованием modelpath1 и modelpath2, поменянных местами в приведенном выше YAML, который я назвал CodeBooga-Reversed-34B-v0.1 3) WizardCoder-Python-34B-V1.0 4) Phind-CodeLlama-34B-v2 В частности, я использовал квантование 4.250b EXL2 каждого из них. Затем я отсортировал ответы на каждый вопрос по качеству и присвоил следующие оценки: CodeBooga-34B-v0.1: 22 WizardCoder-Python-34B-V1.0: 12 Phind-CodeLlama-34B-v2: 7 CodeBooga-Reversed-34B-v0.1: 1 CodeBooga-34B-v0.1 показал себя очень хорошо, в то время как его вариант работало плохо, поэтому я загрузил первое, а не второе. Я рекомендую предустановку «Божественный интеллект» для таких моделей, следующих инструкциям, согласно результатам эксперимента Preset Arena: https://huggingface.co/oobabooga/CodeBooga-34B-v0.1-EXL2-4.250b TheBloke имеет…

Модальности:
Генерация текста


Задача: Генерация текста
Автор: LoneStriker
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 26  |  Загрузок: 5

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.