— базовая модель: Yi-34B-Chat — LoRA: Yi-34b-alpaca-cot-lora 支持Alpaca格式对话，效果很差不推荐使用Alpaca指令格式 — LoRA: Yi-34B-Spicyboros-3.1-LoRA 非官方对话数据集 — LoRA: limarpv3-yi-llama-34b-lora 扮演类长回复 — Шаблон инструкции: ChatML — Максимальный размер токена Origin: 4096 -在使用text-generation-webui作后台，SillyTavern做前端时，webui上M axToken — 8K, SillyTavern — MaxToken — 18K, WebUI — 18K, WebUI — — 上下文长度8K Alpha调到2.5左右时,聊天到6K以上Token还是不可避免的出现重复的回复和回复质量下降 -在SillyTavern上要得到Roleplay的长回复需做如下调整 — 使用ChatML作为指令格式 — 勾选用换行符换行序列 — 最后输出序列调整为 ### Ответ (2 абзаца, увлекательный, естественный, аутентичный, описательный, творческий): — 自定义停止符调整为 [«用户», «n### Input»] — 系统提示调整为 Избегайте повторений, не зацикливайтесь. Развивайте сюжет медленно, всегда оставайтесь в образе. Опишите все действия полностью, подробно, подробно, наглядно и ярко. Упомяните все соответствующие сенсорные восприятия.` — Это тест для модели exllamav2. — 4bpw python Convert.py -i acsr-v2-y34b -c exl2/0000.parquet -o acsr-v2-y34b-4bpw-hb6-exl2 -hb 6 -l 4096 -b 4.15 — конвертировать документ — набор калибровочных данных: WikiText-2-v1 — необходимо добавить oobabooga/text-generation-webui —trust-remote-code в CMD_FLAGS.txt и используйте ExLlamav2 для загрузки модели
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: zgce
Теги: llama, conversational, endpoints_compatible
Лайков: 14 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
