Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z). Этот репозиторий содержит экспериментальную 4-битную модель GPTQ для Falcon-7B-Instruct. Обратите внимание, что производительность этого GPTQ в настоящее время очень низкая при использовании AutoGPTQ. Возможно, он будет работать лучше с последней версией кода GPTQ-for-LLaMa, но я еще не проверял это лично. Требуется AutoGPTQ: GITHUBACTIONS=true pip install auto-gptq` AutoGPTQ предоставляет предварительно скомпилированные колеса для Windows и Linux с набором инструментов CUDA 11.7 или 11.8. Если вы используете набор инструментов CUDA 12.x, вам нужно будет скомпилировать свой собственный, следуя этим инструкциям: Для выполнения этих действий вручную потребуется установить набор инструментов Nvidia CUDA. 1. Запустите text-generation-webui. 2. Перейдите на вкладку «Модель». 3. Снимите флажок «Автозагрузка модели». 4. В разделе «Загрузить пользовательскую модель или LoRA» введите TheBloke/falcon-7B-instruct-GPTQ. 5. Нажмите «Загрузить». 6. Подождите, пока появится сообщение об окончании загрузки. 7. Щелкните значок «Обновить» рядом с надписью «Модель» в левом верхнем углу. 8. В раскрывающемся списке «Модель» выберите только что загруженную модель: falcon-7B-instruct-GPTQ. 9. Установите для загрузчика значение AutoGPTQ. Эта модель будет…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: TheBloke
Теги: RefinedWebModel, custom_code, en, text-generation-inference, 4-bit, gptq
Лайков: 68 | Загрузок: 196
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
