Обучался в течение 3 эпох на наборе данных blackcat102/evol-codealpaca-v1, получил приличные результаты по локальному недоумению — 4,36. Во время обучения использовалась следующая конфигурация квантования битов и байтов: — loadin8bit: False — loadin4bit: True — llmint8threshold: 6.0 — llmint8skipmodules: None — llmint8enablefp32cpuoffload: False — llmint8hasfp16weight: False — bnb4bitquanttype: nf4 — bnb4bitusedoublequant: True — bnb4bitcomputedtype: bfloat16 Во время обучения использовалась следующая конфигурация квантования битов и байтов: — loadin8bit: False — loadin4bit: True — llmint8threshold: 6.0 — llmint8skipmodules: None — llmint8enablefp32cpuoffload: False — llmint8hasfp16weight: False — bnb4bitquanttype: nf4 — bnb4bitusedoublequant: True — bnb4bitcomputedtype: bfloat16 Во время обучения использовалась следующая конфигурация квантования bitsandbytes: — loadin8bit: False — loadin4bit: True — llmint8threshold: 6.0 — llmint8skipmodules: нет — llmint8enablefp32cpuoffload: False — llmint8hasfp16weight: False — bnb4bitquanttype: nf4 — bnb4bitusedoublequant: True — bnb4bitcomputedtype: bfloat16 Во время обучения использовалась следующая конфигурация квантования битов и байтов: — loadin8bit: False — loadin4bit: True — llmint8threshold: 6,0…
Модальности:
Генерация текста
Области применения:
Генерация кода
Задача: Генерация текста
Автор: layoric
Теги: peft, llama, text2text-generation, en
Лайков: 8 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
