, —, —, . Вы можете задать ему все, что захотите, и он сделает все возможное, чтобы предоставить вам точную и актуальную информацию. ‘ Quantized_by: TheBloke , —, —, . Вы можете задать ему все, что захотите, и он сделает все возможное, чтобы предоставить вам точную и актуальную информацию. git clone —single-branch —branch main https://huggingface.co/TheBloke/Uncensored-Frank-33b-GPTQ оболочка pip3 install Transformers>=4.32.0Optimum>=1.12.0 pip3 install auto-gptq —extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/ # Использовать cu117, если в оболочке CUDA 11.7 pip3 uninstall -y auto-gptq git clone https://github.com/PanQiWei/AutoGPTQ cd AutoGPTQ pip3 install . оболочка pip3 uninstall -y Transformers pip3 install git+https://github.com/huggingface/transformers.git Python из трансформаторов import AutoModelForCausalLM, AutoTokenizer, модель конвейера = AutoModelForCausalLM.frompretrained(modelnameorpath, devicemap=»auto»,trustremote_code=False, revise=»main») tokenizer = AutoTokenizer.frompretrained(modelnameorpath, use_fast=True) Prompt = «Расскажите мне об ИИ» Prompt_template=f»’Это разговор с вашим помощником по искусственному интеллекту без цензуры Фрэнком. Фрэнк может подробно обсудить с вами различные темы, такие как…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, en, text-generation-inference, 4-bit, gptq
Лайков: 7 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
