Тип модели: ViP-LLaVA — это чат-бот с открытым исходным кодом, обученный путем тонкой настройки LLaMA/Vicuna как на данных инструкций на уровне изображения, так и на данных инструкций на уровне региона, аннотированных визуальными подсказками. Это авторегрессивная языковая модель, основанная на архитектуре преобразователя. Дата модели: ViP-LLaVA-7B прошел обучение в ноябре 2023 года. Бумажный документ или ресурсы для получения дополнительной информации: https://vip-llava.github.io/ Llama 2 лицензируется в соответствии с лицензией сообщества LLAMA 2, авторские права (c) Meta Platforms, Inc. Все права защищены. Куда отправлять вопросы или комментарии о модели: https://github.com/mu-cai/ViP-LLaVA/issues Основное предполагаемое использование: Основное использование ViP-LLaVA — исследование крупных мультимодальных моделей и чат-ботов. Основные предполагаемые пользователи. Основными предполагаемыми пользователями модели являются исследователи и любители компьютерного зрения, обработки естественного языка, машинного обучения и искусственного интеллекта. — 558 тыс. отфильтрованных пар изображение-текст из LAION/CC/SBU с субтитрами BLIP. — 665 КБ данных команд уровня изображения из LLaVA-1.5. — 520 тысяч пар изображение-текст, отмеченных визуальными подсказками. — 13 КБ данных инструкций на уровне региона, генерируемых из GPT-4V. ViP-LLaVA достигает самых высоких результатов в 4 академических…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: mucai
Теги: llava
Лайков: 8 | Загрузок: 475
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
