Модель tiiuae/falcon-7b настроена на перефразирование, изменение тона входного предложения (на непринужденный/профессиональный/остроумный), резюме и создание темы из диалога. Данные для перефразирования и изменения тона были сгенерированы с использованием gpt-35-turbo, а для создания сводки и темы использовалась выборка из примерно 1000 точек данных из набора данных Dialogsum. Во время обучения использовалась следующая конфигурация квантования битов и байтов: — loadin8bit: False — loadin4bit: True — llmint8threshold: 6.0 — llmint8skipmodules: None — llmint8enablefp32cpuoffload: False — llmint8hasfp16weight: False — bnb4bitquanttype: nf4 — bnb4bitusedoublequant: True — bnb4bitcomputedtype: bfloat16
Модальности:
Генерация текста
Задача: Генерация текста
Автор: llm-toys
Теги: peft, en
Лайков: 5 | Загрузок: 1
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.