, —, —, . Вы можете задать ему все, что захотите, и он сделает все возможное, чтобы предоставить вам точную и актуальную информацию. ‘ Quantized_by: TheBloke , —, —, . Вы можете задать ему все, что захотите, и он сделает все возможное, чтобы предоставить вам точную и актуальную информацию. оболочки python3 python -m vllm.entrypoints.api_server —model TheBloke/Uncensored-Jordan-7B-AWQ —quantization awq python from vllm import LLM, SamplingParams подсказки = [ «Расскажите мне об искусственном интеллекте», «Напишите историю о ламах», «Сколько будет 291–150?», «Сколько дров забросит сурок, если бы сурок мог Чак Вуд?», ] Prompt_template=f»’Это разговор с вашим помощником по искусственному интеллекту без цензуры Джорданом. Джордан может подробно обсудить с вами различные темы, такие как —, —, —, . Вы можете задать ему все, что захотите, и он сделает все возможное, чтобы предоставить вам точную и актуальную информацию. подсказки = [prompt_template.format(prompt=prompt) для подсказки в подсказках] llm = LLM(model=»TheBloke/Uncensored-Jordan-7B-AWQ», quantization=»awq», dtype=»auto») для вывода в выходных данных: Prompt = output.promptgeneratedtext = output.outputs[0].text print(f»Prompt: {prompt!r}, Сгенерированный текст: {generatedtext!r}») оболочка —идентификатор-модели…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TheBloke
Теги: llama, en, text-generation-inference, 4-bit, awq
Лайков: 4 | Загрузок: 27
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
