Во время обучения использовалась следующая конфигурация квантования битов и байтов: — loadin8bit: False — loadin4bit: True — llmint8threshold: 6.0 — llmint8skipmodules: None — llmint8enablefp32cpuoffload: False — llmint8hasfp16weight: False — bnb4bitquanttype: nf4 — bnb4bitusedoublequant: False — bnb4bitcomputedtype: bfloat16 Во время обучения использовалась следующая конфигурация квантования битов и байтов: — loadin8bit: False — loadin4bit: True — llmint8threshold: 6.0 — llmint8skipmodules: None — llmint8enablefp32cpuoffload: False — llmint8hasfp16weight: False — bnb4bitquanttype: nf4 — bnb4bitusedoublequant: False — bnb4bitcomputedtype: bfloat16
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Amod
Теги: RefinedWebModel, conversational, custom_code, en, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.