киберагентさんが公開しているспокойный2-7b-чатを日本語のキャリブレーションセットで生成したGPTQモデルになります。キャリブレーションセットはizumi-lab/wikipedia-ja-20230720から、 1k, ELYZA-tasks-100, input/output, 200, ほど追加しています。 mmnga/wikipedia-ja-20230720-1k モデル一覧 GPTQ mmnga/cyberagent-calm2-7b-GPTQ-calib-ja-1k mmnga/cyberagent-calm2-7b-chat-GPTQ-calib-ja-1k GGUF mmnga/cyberagent-calm2-7b-gguf mmnga/cyberagent-calm2-7b-chat-gguf ~~~Bash pip install auto-gptq[triton]==0.4.2 Transformers==4.34.1 ~~~ ~~~python import torch из auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig из преобразователей import AutoTokenizer , AutoModelForCausalLM if torch.cuda.isavailable(): имя устройства = torch.cuda.getdevicename(0) modelnameor_path = «mmnga/cyberagent-calm2-7b-chat-GPTQ-calib-ja-1k» tokenizer = AutoTokenizer.frompretrained(modelnameorpath,trustremotecode=True) model = AutoGPTQForCausalLM.fromquantized(modelnameorpath, usesafetensors=True, устройство=»cuda:0″, usetriton=(«A100» в имя_устройства)) приглашение = «»» ПОЛЬЗОВАТЕЛЬ: 今日の夕食のレシピを紹介してください。 ПОМОЩНИК: «»» print(tokenizer.decode(model.generate(tokenizer(prompt, returntensors=»pt»).to(model.device), max_length=128)[0])) ~~~
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: mmnga
Теги: llama, endpoints_compatible
Лайков: 5 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
