Квантованный GGUF https://huggingface.co/truehealth/LLama-2-MedText-13b Это дельта-веса PEFT, которые необходимо объединить с LLama-2-13b, чтобы использовать их для вывода. Во время обучения использовалась следующая конфигурация квантования битов и байтов: — loadin8bit: False — loadin4bit: True — llmint8threshold: 6.0 — llmint8skipmodules: None — llmint8enablefp32cpuoffload: False — llmint8hasfp16weight: False — bnb4bitquanttype: nf4 — bnb4bitusedoublequant: True — bnb4bitcomputedtype: float16 В этом примере показано использование hfdownloader для загрузки модели факела из HF в ./storage. При необходимости установите hfdownloader с https://github.com/bodaay/HuggingFaceModelDownloader.
Модальности:
Генерация текста
Области применения:
Медицина
Задача: Генерация текста
Автор: iandennismiller
Теги: gguf, llama, medical
Лайков: 4 | Загрузок: 98
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
