Чат и поддержка: мой новый сервер Discord Хотите внести свой вклад? Страница TheBloke на Patreon. Этот репозиторий содержит экспериментальную 4-битную модель GPTQ для Falcon-7B-Instruct. Обратите внимание, что это экспериментальная модель GPTQ. В настоящее время его поддержка весьма ограничена. Ожидается также, что он будет МЕДЛЕННЫМ. В настоящее время это неизбежно, но рассматривается. AutoGPTQ предоставляет предварительно скомпилированные колеса для Windows и Linux с набором инструментов CUDA 11.7 или 11.8. Если вы используете набор инструментов CUDA 12.x, вам нужно будет скомпилировать свой собственный, следуя этим инструкциям: Для выполнения этих ручных действий потребуется установленный набор инструментов Nvidia CUDA. В text-generation-webui имеется временная поддержка AutoGPTQ. Для этого требуется text-generation-webui на момент фиксации 204731952ae59d79ea3805a425c73dd171d943c3. Поэтому сначала обновите text-genration-webui до последней версии. 1. Запустите text-generation-webui со следующими аргументами командной строки: —autogptq —trust-remote-code 2. Перейдите на вкладку Модель. 3. В разделе «Загрузить пользовательскую модель или LoRA» введите TheBloke/falcon-7B-instruct-GPTQ. 4. Нажмите «Загрузить». 5. Подождите, пока появится сообщение об окончании загрузки. 6. Нажмите значок «Обновить» рядом с надписью «Модель» в левом верхнем углу. 7. В раскрывающемся списке «Модель»:…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: 4bit
Теги: RefinedWebModel, custom_code, en
Лайков: 4 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
