Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z). Этот репозиторий содержит модель Vicuna 7B, квантованную с использованием GPTQ-for-LLaMa. Исходный репозиторий Vicuna 7B содержит дельты, а не веса. Вместо того, чтобы объединять дельты самостоятельно, я использовал файлы моделей с https://huggingface.co/helloollel/vicuna-7b. Предоставляются два файла модели. Вам не нужны оба, выберите тот, который вам больше нравится. Подробная информация о предоставленных файлах: vicuna-7B-GPTQ-4bit-128g.safetensors новый формат Safetensors с улучшенной безопасностью файлов, созданный с использованием последней версии кода GPTQ-for-LLaMa. Команда для создания: python3 llama.py vicuna-7B c4 —wbits 4 —true-sequential —act-order —groupsize 128 —savesafetensors vicuna-7B-GPTQ-4bit-128g.safetensors` Эти файлы модели были созданы с использованием последней версии кода GPTQ и требуют, чтобы внутри пользовательского интерфейса использовалась последняя версия GPTQ-for-LLaMa. Вот команды, которые я использовал для клонирования ветки Triton GPTQ-for-LLaMa, клонирования text-generation-webui и установки GPTQ в пользовательский интерфейс: Затем установите эту модель в text-generation-webui/models и запустите пользовательский интерфейс следующим образом:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, text-generation-inference, 4-bit, gptq
Лайков: 15 | Загрузок: 22
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
