GroundingGPT — это комплексная мультимодальная модель заземления, которая точно обрабатывает входные данные и обладает надежными возможностями заземления в различных модальностях, включая изображения, аудио и видео. Чтобы решить проблему ограниченности данных, мы создаем разнообразный и высококачественный мультимодальный набор обучающих данных. Этот набор данных включает в себя богатую коллекцию мультимодальных данных, обогащенных пространственной и временной информацией, тем самым служа ценным ресурсом для дальнейшего развития в этой области. Обширные экспериментальные оценки подтверждают эффективность модели GroundingGPT в понимании и обосновании задач в различных модальностях. [2024.4] Наша модель уже доступна! [2024.3] Наш набор обучающих данных уже доступен! [2024.3]** Наш код уже доступен! git clone https://github.com/lzw-lzw/GroundingGPT.git cd GroundingGPT conda create -n groundinggpt python=3.10 -y conda active groundinggpt pip install -r require.txt pip install flash-attn —no-build-isolation — поместите подготовленные контрольные точки в каталог ./ckpt. — Подготовьте контрольную точку ImageBind: скачайте imagebindhuge.pth по ссылке и поместите его в каталог ./ckpt/imagebind. — Подготовьте контрольную точку blip2:…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: zwli
Теги: LEGO, endpoints_compatible
Лайков: 4 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
