Квантовано с https://huggingface.co/Neko-Institute-of-Science/pygmalion-7b. Это версия 1. Она была доработана с использованием подмножества данных из Pygmalion-6B-v8-pt4 для тех из вас, кто знаком с проектом. Веса моделей в этом репозитории нельзя использовать как есть. Файлы здесь являются XOR из-за проблем с лицензированием. Чтобы получить правильные, пригодные для использования веса модели, вам необходимо: — Запросить доступ к исходным весам LLaMA из Meta через эту форму. — Преобразовать их в формат HuggingFace Transformers с помощью сценария Convertllamaweightstohf.py для вашей версии библиотеки трансформаторов. — Имея на руках веса LLaMA-7B, вы можете использовать сценарий xor_codec.py, представленный в этом репозитории: Модель была обучена в обычном формате «персона + чат Пигмалиона», поэтому любой из обычных Пользовательские интерфейсы уже должны все обрабатывать правильно. Если вы используете модель напрямую, это ожидаемое форматирование: где [CHARACTER] — это, как вы, наверное, догадались, имя персонажа, которого вы хотите, чтобы модель изображала, должно использоваться дословно в качестве маркера-разделителя для отделения данных о личности и сценарии от диалога, а [ИСТОРИЯ ДИАЛОГОВ] — это скользящее окно истории чата, чтобы модель могла иметь…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: DanielAWrightGabrielAI
Теги: llama, conversational, text-text, persona, pygmalion, GPTQ, en, text-generation-inference
Лайков: 15 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
