Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z). Этот репозиторий содержит 4-битные квантованные модели в формате GPTQ для StableVicuna 13B от CarperAI. Это результат первого слияния дельт из вышеуказанного репозитория с исходными весами Llama 13B, а затем квантования до 4 бит с использованием GPTQ-for-LLaMa. 4-битные модели GPTQ для вывода графического процессора. 4-битные, 5-битные и 8-битные модели GGML для вывода ЦП (+CUDA). * Неквантованная модель float16 в формате HF. 1. Откройте вкладку Модель. 2. В разделе «Загрузить пользовательскую модель или LoRA» введите TheBloke/stable-vicuna-13B-GPTQ. 3. Нажмите «Загрузить». 4. Подождите, пока появится сообщение об окончании загрузки. 5. Щелкните значок «Обновить» рядом с надписью «Модель» в левом верхнем углу. 6. В раскрывающемся списке «Модель» выберите только что загруженную модель, «stable-vicuna-13B-GPTQ». 7. Как только появится сообщение о загрузке, перейдите на вкладку «Генерация текста» и введите приглашение! Совместимый файл — стабильный-vicuna-13B-GPTQ-4bit.compat.no-act-order.safetensors В основной ветке — по умолчанию — вы найдете стабильный-vicuna-13B-GPTQ-4bit.compat.no-act-order.safetensors. Он будет работать со всеми версиями GPTQ-for-LLaMa. Это…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, causal-lm, en, text-generation-inference, 4-bit, gptq
Лайков: 218 | Загрузок: 56
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
