Команда, используемая для квантования: python3 llama.py Manticore-13B-Chat-Pyg-Guanaco-GPTQ-4bit-128g.no-act-order.safetensors c4 —wbits 4 —true-sequential —groupsize 128 —save_safetensors Модель, похоже, заметно выиграла...
Файлы квантуются с использованием новейшей версии llama.cpp и поэтому будут работать только с версиями llama.cpp, скомпилированными после 19...
Эта модель обучена с помощью guanaco-lora с помощью lora + embedtokens + lmhead для обучения. Набор данных взят...
Эта модель обучена с помощью модифицированной альпака-лоры с lora + embedtokens + lmhead для обучения. Набор данных взят...
