— биты: 4 — размер группы: 128 — уменьшение: true — staticgroups: false — sym: true — lmhead: false — dumppercent: 0.0025 — truesequential: true — modelnameorpath: «» — modelfilebasename: «model» — quantmethod: «gptq» — checkpointformat: «gptq» — мета: — квантователь: «gptqmodel:0.9.9-dev0»
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат
Задача: Генерация текста
Автор: ModelCloud
Теги: llama, gptq, 4bit, int4, gptqmodel, modelcloud, llama-3.1, 70b
Лайков: 4 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.