Bruno/Caramelinho

Этот адаптер был создан с использованием библиотеки PEFT и позволил точно настроить базовую модель Falcon-7b на Canarim с помощью метода QLoRA. «`py import torch из peft import PeftModel, PeftConfig из трансформаторов import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig, GenerationConfig config = PeftConfig.frompretrained(peftmodelid) bnbconfig = BitsAndBytesConfig( loadin4bit=True, bnb4bitquanttype=»nf4″, bnb4bitcomputedtype=torch.float16, ) model = AutoModelForCausalLM.frompretrained(config.basemodelnameorpath, returndict=True, quantizationconfig=bnbconfig,trustremotecode=True, devicemap={«»: 0}) Promptinput = «Abaixo está uma declaracão que descreve uma tarefa, juntamente com Вы должны ответить на соответствующий запрос.nn ### Инструкция:n{instruction}nn### Ввод:n{input}nn### Ответ:n» Promptnoinput = «Abaixo está uma. напишите ответ, который соответствует запросу.nn### Инструкция:n{instruction}nn### Ответ:n» def createprompt(instruction, input=None): if input: return Promptinput.format(instruction=instruction, ввод=ввод) иначе: возврат…

Модальности:
Генерация текста

Задача: Генерация текста
Автор: Bruno
Теги: adapter-transformers, RefinedWebModel, custom_code, pt, en
Лайков: 4  |  Загрузок: 6

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.