Cabuxa — это модель LLaMA-7B для Галисии, которая может отвечать на инструкции в формате Альпака. В него было загружено 80% набора данных irlab-udc/alpacadatagalician, а оставшиеся 20% мы сохраняем для будущих оценок и исследований. Эта работа расширяет возможности португальского языка с 22h/cabrita-lora-v0-1 до галисийского языка. Наши рабочие заметки доступны здесь. Во время обучения использовалась следующая конфигурация LoraConfig: — r: 8 — loraalpha: 16 — targetmodules: [«qproj», «vproj»] — loradropout: 0.05 — смещение: «none» — тип задачи: «CAUSAL_LM» Во время обучения использовалась следующая конфигурация TrainingArguments: — perdevicetrainbatchsize: 64 -gradientaccumulationsteps: 32 — Warmupsteps: 100 — numtrainepochs: 20 — скорость обучения: 3e-4 — fp16=True Во время обучения использовалась следующая конфигурация квантования bitsandbytes: — quantmethod: bitsandbytes — loadin8bit: True — loadin4bit: False — llmint8threshold: 6.0 — llmint8skipmodules: нет — llmint8enablefp32cpuoffload: False — llmint8hasfp16weight: False — bnb4bitquanttype: fp4 — bnb4bitusedoublequant: False — bnb4bitcompute_dtype: float32 — PyTorch 2.1.0 — PEFT 0.6.0.dev0 — 🤗 Transformers 4.34.0 — 🤗 Наборы данных 2.14.5 — 🤗 Токенизаторы 0.14.0 Выбросы углерода могут быть…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: irlab-udc
Теги: peft, gl
Лайков: 6 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
