Этот репозиторий содержит 4-битные квантованные модели StableVicuna 13B от CarterAI в формате GPTQ. Это результат первого слияния дельт из вышеуказанного репозитория с исходными весами Llama 13B, а затем квантования до 4 бит с использованием GPTQ-for-LLaMa. 4-битные модели GPTQ для вывода графического процессора. 4-битные и 5-битные модели GGML для вывода ЦП. * Неквантованная 16-битная модель в формате HF. 1. Откройте вкладку Модель. 2. В разделе «Загрузить пользовательскую модель или LoRA» введите имя репозитория: TheBloke/stable-vicuna-13B-GPTQ. 3. Нажмите «Загрузить». 4. Подождите, пока появится сообщение об окончании загрузки. 5. Поскольку это модель GPTQ, заполните параметры GPTQ справа: биты = 4, размер группы = 128, тип модели = Llama 6. Теперь щелкните значок «Обновить» рядом с надписью «Модель» в левом верхнем углу. 7. В раскрывающемся списке «Модель» выберите эту модель: стабильный-vicuna-13B-GPTQ. 8. Нажмите «Обновить модель» в правом верхнем углу. 9. Как только появится сообщение о загрузке, перейдите на вкладку «Генерация текста»** и введите приглашение! Совместимый файл — стабильный-vicuna-13B-GPTQ-4bit.compat.no-act-order.safetensors В основной ветке — по умолчанию — вы найдете стабильный-vicuna-13B-GPTQ-4bit.compat.no-act-order.safetensors. Он будет работать со всеми версиями GPTQ-for-LLaMa. Имеет максимальную совместимость. Это было…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: 4bit
Теги: llama, causal-lm, en, text-generation-inference
Лайков: 7 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
