anon8231489123/vicuna-13b-GPTQ-4bit-128g

Конвертированная модель для GPTQ с https://huggingface.co/lmsys/vicuna-13b-delta-v0. Это лучшая отечественная модель, которую я когда-либо пробовал. Я надеюсь, что кто-то сделает версию, основанную на наборе данных без цензуры… Команда преобразования GPTQ (в ветке CUDA): CUDAVISIBLEDEVICES=0 python llama.py ../lmsys/vicuna-13b-v0 c4 —wbits 4 —true-sequential —groupsize 128 —save vicuna-13b-4bit-128g.pt Добавлен 1 токен в токенизатор модель: python llama-tools/addtokens.py lmsys/vicuna-13b-v0/tokenizer.model /content/tokenizer.model llama-tools/testlist.txt

Модальности:
Генерация текста

Задача: Генерация текста
Автор: anon8231489123
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 664  |  Загрузок: 845

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.