Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области LLM щедро поддерживается грантом от Андреессена Горовица (a16z). Эти файлы представляют собой файлы 4-битной модели GPTQ для Baichuan Inc. Baichuan 7B. 4-битные модели GPTQ для вывода графического процессора. Неквантованная модель fp16 в формате pytorch, для вывода графического процессора и дальнейших преобразований. Она будет работать только с AutoGPTQ и только с использованием последней версии AutoGPTQ, скомпилированной из исходного кода. Чтобы объединить этот PR, выполните следующие действия, чтобы установить последнюю версию AutoGPTQ из исходного кода: Поскольку это новый тип модели, который еще не поддерживается Transformers, вы должны запустить вывод с набором Trust Remote Code. Используя text-generation-webui, это можно сделать, отметив «Доверять удаленный код» в пользовательском интерфейсе или передав —trust-remote-code в командной строке. В коде Python передайтеtrustremotecode=True как для вызовов AutoTokenizer.frompretrained(), так и для AutoGPTQForCausalLM.fromquantized(). Убедитесь, что вы используете последнюю версию text-generation-webui. 1. Перейдите на вкладку «Модель». 2. Снимите флажок «Автозагрузка». 3. В разделе «Загрузить пользовательскую модель или LoRA» введите TheBloke/baichuan-7B-GPTQ. 4. Нажмите «Загрузить». 5. Модель запустится…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: baichuan, custom_code, text-generation-inference, endpoints_compatible, 4-bit, gptq
Лайков: 14 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
