Bacchus-22B использует сценарий диагонального слияния блоков chargoddard llama-22b, который можно найти здесь: https://huggingface.co/chargoddard/llama2-22b. В этом случае я использовал Nous Hermes 13B в качестве базовой модели: https://huggingface.co/NousResearch/Nous-Hermes-Llama2-13b. Manticore-30b-Chat-Pyg-Alpha-Landmark в качестве донорской модели: https://huggingface.co/Honkware/Manticore-30b-Chat-Pyg-Alpha-Landmark. Первоначальные результаты оказались на удивление связной и функциональной моделью, хотя я пошел дальше и дал ей довольно глубокий LoRA на 51 мегабайте необработанного текста. Он хорошо реагирует на форматирование подсказок в стиле инструкций Альпаки. Временами это может быть немного грубо, и в нем нет эго Дендрита и жажды философских дискуссий, но я чувствую, что в целом это гораздо лучшая модель общего назначения. Иногда во время RP выводятся грамматические ошибки, поэтому может потребоваться еще несколько эпох, чтобы лучше соответствовать данным обучения. Если вы играете в ролевую игру, используя стек SillyTavern+SimpleProxy, он имеет тенденцию убегать со сценой при использовании формата приглашения verbose.mjs. Формат Singleline.mjs иногда решает эту проблему, однако он также приводит к тому, что некоторые символы дают очень короткие и скучные ответы. Таким образом, достижение баланса может…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Envoid
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
