llm-toys/RedPajama-INCITE-Base-3B-v1-dialogue-summary-topic

The togethercomputer/RedPajama-INCITE-Base-3B-v1 model finetuned for Summary and Topic generation from a dailogue. We use a sample of roughly 1000 data points from the Dialogsum dataset for fine-tuning. The following bitsandbytes quantization config was used during training: — loadin8bit: False — loadin4bit: True — llmint8threshold: 6.0 — llmint8skipmodules: None — llmint8enablefp32cpuoffload: False — llmint8hasfp16weight: False — bnb4bitquanttype: nf4 — bnb4bitusedoublequant: True — bnb4bitcomputedtype: bfloat16

Модальности:
Генерация текста

Задача: Генерация текста
Автор: llm-toys
Теги: peft, en
Лайков: 3  |  Загрузок: 9

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.