Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z). Этот репозиторий содержит экспериментальную 4-битную GPTQ-модель WizardLM Эрика Хартфорда Uncensored Falcon 40B. 4-битная модель GPTQ для вывода с помощью графического процессора. 3-битная модель GPTQ для вывода с использованием графического процессора. 2, 3, 4, 5, 6 и 8-битные модели GGML для вывода CPU+GPU. Неквантованная модель Эрика fp16 в формате pytorch, для вывода GPU и дальнейших преобразований. Обратите внимание, что это экспериментальная модель GPTQ. В настоящее время его поддержка весьма ограничена. Также ожидается, что это будет ОЧЕНЬ МЕДЛЕННО. На данный момент это неизбежно, но над этим ведется работа. Для этого требуется версия коммита 204731952ae59d79ea3805a425c73dd171d943c3 или новее. Поэтому сначала обновите text-generation-webui до последней версии. 1. Запустите text-generation-webui. 2. Перейдите на вкладку «Модель». 3. Снимите флажок «Автозагрузка модели». 4. В разделе «Загрузить пользовательскую модель или LoRA» введите TheBloke/WizardLM-Uncensored-Falcon-40B-GPTQ. 5. Нажмите «Загрузить». 6. Подождите, пока появится сообщение об окончании загрузки. 7. Щелкните значок «Обновить» рядом с надписью «Модель» в левом верхнем углу. 8. В раскрывающемся списке «Модель» выберите…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: RefinedWeb, custom_code, text-generation-inference, 4-bit, gptq
Лайков: 60 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
