Преобразовал vicuna-13b в 4-битный GPTQ с использованием истинно-последовательного и размера группы 128 в безопасных тензорах для достижения наилучшей производительности модели. Он не поддерживает llama.cpp или любые другие реализации cpp, поддерживается только cuda. Эти реализации требуют использования другого формата. Vicuna — это модель высокой согласованности, основанная на Llama, сравнимая с ChatGPT. Подробнее читайте здесь https://vicuna.lmsys.org/ Недавние коммиты GPTQ внесли критические изменения в загрузку модели, и вам следует использовать этот форк для стабильной работы https://github.com/oobabooga/GPTQ-for-LLaMa 1. Запуск вручную через GPTQ 2. (Больше настроек, но лучший пользовательский интерфейс) — используйте text-generation-webui. Прежде чем добавлять поддержку GPTQ, обязательно выполните шаги установки, описанные здесь. Поскольку это настройка инструкций, для получения наилучших результатов используйте следующий формат вывода (обратите внимание, что формат инструкций отличается от формата Alpaca): Если вам нужны детерминированные результаты, отключите выборку. Вы можете отключить его в веб-интерфейсе, сняв галочку с dosample`. Данные Данные, используемые для обучения модели, собираются из различных источников, в основном из Интернета. Таким образом, он содержит оскорбительный, вредный и предвзятый контент. Таким образом, мы ожидаем, что модель будет демонстрировать такие отклонения от…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: elinas
Теги: llama, vicuna, gptq, endpoints_compatible
Лайков: 45 | Загрузок: 20
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
