Добавьте аргумент «usesafetensors=False» в fromquanted(), тогда как в предыдущем Auto-GPTQ для этого аргумента по умолчанию установлено значение False. Если есть какие-либо проблемы с загрузкой модели напрямую с помощью HF, кто-нибудь может попробовать git clone. (15 декабря 2023 г.) Производительность версии int4 несколько снизилась. Для лучшего взаимодействия с пользователем используйте версию fp16. Дополнительные сведения см. в разделах AceGPT-7B-Chat и AceGPT-13B-Chat. Требуется: Transformers 4.32.0 или новее, Optimum 1.12.0 или новее и AutoGPTQ 0.4.2 или новее.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: FreedomIntelligence
Теги: llama, ar, en, endpoints_compatible
Лайков: 5 | Загрузок: 2
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
