Он был создан путем слияния дельт, представленных в приведенном выше репозитории, с исходной моделью Llama 13B с использованием кода, представленного на их странице Github. Модели 13B: неквантованная модель 13B 1.1 для графического процессора — формат HF, квантованный GPTQ, 4 бита. 13B 1.1 для графического процессора — защитные датчики и форматы pt. 7B 1.1 для графического процессора — защитные датчики и форматы pt. Квантованный GPTQ 4 бита 7B 1.1 для ЦП — формат GGML для llama.cpp` Если вы получаете бессмысленный вывод, это связано с тем, что вы используете файл безопасных тензоров без обновления GPTQ-for-LLaMA. Если вы используете файл Safetensors, у вас должна быть последняя версия GPTQ-for-LLaMA внутри text-generation-webui. Если вы не хотите обновляться или не можете, используйте вместо этого файл pt. Предоставляются два файла модели. В идеале используйте файл Safetensors. Полная информация ниже: Подробная информация о предоставленных файлах: vicuna-13B-1.1-GPTQ-4bit-128g.safetensors Формат Safetensors с улучшенной безопасностью файлов, созданный с использованием последней версии кода GPTQ-for-LLaMa. Команда для создания: python3 llama.py vicuna-13B-1.1-HF c4 —wbits 4 —true-sequential —act-order —groupsize 128…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: 4bit
Теги: llama
Лайков: 4 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
