Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z). Этот репозиторий содержит экспериментальную 4-битную GPTQ-модель Samantha-Falcon-7B Эрика Хартфорда. 4-битная модель GPTQ для вывода графического процессора. Модель формата HF float16 Эрика для вывода графического процессора и дальнейших преобразований. Обратите внимание, что это экспериментальная модель GPTQ. В настоящее время его поддержка весьма ограничена. Также ожидается, что это будет ОЧЕНЬ МЕДЛЕННО. На данный момент это неизбежно, но над этим ведется работа. 1. AutoGPTQ, из последней основной ветки и скомпилирован с помощью pip install. 2. pip install einops Затем вы можете сразу использовать его из кода Python (см. пример кода ниже) или из text-generation-webui. Для выполнения этих шагов потребуется установленный набор инструментов Nvidia CUDA. Существует также предварительная поддержка AutoGPTQ в text-generation-webui. Для этого требуется text-generation-webui на момент фиксации 204731952ae59d79ea3805a425c73dd171d943c3. Поэтому сначала обновите text-genration-webui до последней версии. 1. Запустите text-generation-webui со следующими аргументами командной строки: —autogptq —trust-remote-code 2. Перейдите на вкладку Модель. 3.…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: RefinedWebModel, custom_code, en, text-generation-inference, 4-bit, gptq
Лайков: 12 | Загрузок: 19
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
