4-битный квант ламы, часть llava https://github.com/haotian-liu/LLaVA https://huggingface.co/liuhaotian/LLaVA-7b-delta-v0 на https://github.com/oobabooga/GPTQ-for-LLaMa ветке CUDA GPTQ (коммит 57a2629) (многомодальность нет, текстовый вывод есть) жду этого пиара: https://github.com/oobabooga/text-generation-webui/pull/1741
Модальности:
Генерация текста
Задача: Генерация текста
Автор: wojtab
Теги: llama, endpoints_compatible
Лайков: 12 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.