Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от andreessen horowitz (a16z). Эти файлы представляют собой файлы 4-битной модели GPTQ для WizardCoder Guanaco 15B V1.0 от LoupGarou. Это результат квантования до 4 бит с использованием GPTQ-for-LLaMa. 4-битные модели GPTQ для вывода на основе графического процессора. 4-, 5- и 8-битные модели GGML для вывода на основе процессора и графического процессора. * Неквантованная модель fp16 в формате pytorch, для вывода на основе графического процессора и для дальнейших преобразований. Убедитесь, что вы используете последнюю версию text-generation-webui. Настоятельно рекомендуется использовать программу установки в один клик text-generation-webui, если вы не знаете, как выполнить установку вручную. 1. Откройте вкладку Модель. 2. В разделе «Загрузить пользовательскую модель или LoRA» введите TheBloke/WizardCoder-Guanaco-15B-V1.0-GPTQ. 3. Нажмите «Загрузить». 4. Начнется загрузка модели. По завершении появится надпись «Готово». 5. В левом верхнем углу щелкните значок обновления рядом с надписью «Модель». 6. В раскрывающемся списке «Модель» выберите только что загруженную модель: WizardCoder-Guanaco-15B-V1.0-GPTQ 7. Модель автоматически загрузится и теперь готова к использованию! 8. Если у вас возникли проблемы, убедитесь, что для параметра Loader установлено значение AutoGPTQ. 9.…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: TheBloke
Теги: gpt_bigcode, en, text-generation-inference, 4-bit, gptq
Лайков: 16 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
