Информация OpenAssistant-Llama-13B-4-bit работает с версиями GPTQ, используемыми в Webui для генерации текста Oobabooga и KoboldAI. Это было сделано с использованием Open Assistant 13b LoRa от Serpdotai, обученного в течение 4 эпох с использованием набора данных Open Assistant. python llama.py /KoboldAI/repos/gptq/llama13b-oasst-4-epochs-lora c4 —wbits 4 —true-sequential —groupsize 128 —save_safetensors llama13b-oasst-4-epochs-lora-4bit-128g.safetensors
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Monero
Теги: llama, endpoints_compatible
Лайков: 8 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.