Этот адаптер был создан с использованием библиотеки PEFT и позволил точно настроить базовую модель bigscience/bloomz-1b7 на хакатоне-somos-nlp-2023/HabilidadesAgentev1 с помощью метода LoRA. py импортировать факел из peft, импортировать PeftModel, PeftConfig из трансформаторов, импортировать AutoModelForCausalLM, AutoTokenizer peftmodelid = «hackathon-somos-nlp-2023/salsapaca-native» config = PeftConfig.frompretrained(peftmodelid) model = AutoModelForCausalLM.frompretrained(config.basemodelnameorpath, returndict=True, loadin8bit=True, devicemap=’auto’) tokenizer = AutoTokenizer.frompretrained(peftmodel_id) def genconversation(text): text = «instruction: » + text + «n » пакет = tokenizer(text, returntensors=’pt’) с torch.cuda.amp.autocast(): outputtokens = model.generate(batch, maxnewtokens=256, eostokenid=50258, Early_stopping = True, temp=.9) print(‘nn’, tokenizer.decode(outputtokens[0],skipspecial_tokens=False)) @misc {hackathon-somos-nlp-2023, автор = { {{Эдисон Бехарано, Леонардо Боланьос, Альберто Себальос, Сантьяго Пинеда, Николай Potes} }, title = { SAlsapaca }, год = 2023, URL = { https://huggingface.co/hackathon-somos-nlp-2023/salsapaca-native }…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: somosnlp-hackathon-2023
Теги: conversational, es
Лайков: 5 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
