The following bitsandbytes quantization config was used during training: — quantmethod: bitsandbytes — loadin8bit: False — loadin4bit: True — llmint8threshold: 6.0 — llmint8skipmodules: None — llmint8enablefp32cpuoffload: False — llmint8hasfp16weight: False — bnb4bitquanttype: nf4 — bnb4bitusedoublequant: False — bnb4bitcompute_dtype: bfloat16 The following bitsandbytes quantization config was used during training: — quantmethod: bitsandbytes — loadin8bit: False — loadin4bit:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: kingabzpro
Теги: mistral, pretrained, en, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 27
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
