Это версия 1. Она была доработана с использованием подмножества данных из Pygmalion-6B-v8-pt4 для тех из вас, кто знаком с проектом. В этой модели файлы XOR уже установлены «из коробки». Преобразовано из весов XOR из выпуска PygmalionAI https://huggingface.co/PygmalionAI/pygmalion-7b Квантование было выполнено с использованием https://github.com/oobabooga/GPTQ-for-LLaMa для использования в KoboldAI. Это лучшая оценка, которую я мог получить после перепробования многих комбинаций аргументов путем преобразования модели из bf16 в fp32 перед квантованием до 4 бита с —act-order в качестве единственного аргумента. — Wikitext 2: 6.2477378845215 — PTB-New: 46.5129699707031 — C4-New: 7.8470954895020 Модель обучалась на обычном формате Pygmalion persona+chat, поэтому любой из обычных UI уже должен все корректно обрабатывать. Если вы используете модель напрямую, это ожидаемое форматирование: где [CHARACTER] — это, как вы, наверное, догадались, имя персонажа, которого вы хотите, чтобы модель изображала, следует использовать дословно в качестве маркера-разделителя для отделения данных о личности и сценарии от диалога, а [ИСТОРИЯ ДИАЛОГОВ] — это скользящее окно истории чата, чтобы модель могла иметь разговорный контекст, из которого можно было бы извлечь…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TehVenom
Теги: llama, text generation, conversational, en
Лайков: 35 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
