> В настоящее время KoboldCPP не может остановить вывод при выпуске токена EOS, что приводит к тому, что модель превращается в тарабарщину. > > Pygmalion 7B теперь исправлен в ветке разработки KoboldCPP, что устранило проблему EOS. Убедитесь, что вы компилируете последнюю версию, она была исправлена только после выхода этой модели; > > При запуске KoboldCPP вам нужно будет добавить флаг —unbantokens, чтобы эта модель работала правильно. Это версия 1. Она была доработана с использованием подмножества данных из Pygmalion-6B-v8-pt4 для тех из вас, кто знаком с проектом. В этой модели файлы XOR уже установлены «из коробки». Преобразовано из весов XOR из версии PygmalionAI https://huggingface.co/PygmalionAI/pygmalion-7b. Оно также было квантовано до 4 бит — Q4_1 с использованием библиотеки GGML, доступной здесь: https://github.com/LostRuins/koboldcpp. Модель была обучена в обычном формате Pygmalion persona + Chat, поэтому любой из обычных пользовательских интерфейсов уже должен обрабатывать все правильно. Если вы используете модель напрямую, это ожидаемое форматирование: где [CHARACTER] — это, как вы, наверное, догадались, имя персонажа, которого вы хотите, чтобы модель изображала, следует использовать дословно как…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TehVenom
Теги: text generation, conversational, en
Лайков: 19 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
