Эта модель была настроена с использованием 4-битного QLoRa в соответствии с инструкциями в https://huggingface.co/blog/llama2#fine-tuning-with-peft. Я использовал экземпляр Amazon EC2 g5.xlarge (1xA10G GPU) с AMI глубокого обучения для PyTorch. Время обучения составило около 10 часов. Цена по требованию составляет около 10 долларов США, но с помощью спотовых инстансов EC2 ее можно легко снизить примерно до 3 долларов США. Включен полный журнал, а также простой скрипт вывода. Во время обучения использовалась следующая конфигурация квантования bitsandbytes: — quantmethod: bitsandbytes — loadin8bit: False — loadin4bit: True — llmint8threshold: 6.0 — llmint8skipmodules: None — llmint8enablefp32cpuoffload: False — llmint8hasfp16weight: False — bnb4bitquanttype: fp4 — bnb4bitusedoublequant: False — bnb4bitcompute_dtype: float32
Модальности:
Генерация текста
Задача: Генерация текста
Автор: juliensimon
Теги: peft, llama-2
Лайков: 4 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
