Тип модели: LLaVA — это чат-бот с открытым исходным кодом, обученный путем точной настройки LLaMA/Vicuna на мультимодальных данных, генерируемых GPT и выполняющих инструкции. Это авторегрессивная языковая модель, основанная на архитектуре преобразователя. Бумага или ресурсы для получения дополнительной информации: https://llava-vl.github.io/ Куда отправлять вопросы или комментарии по модели: https://github.com/haotian-liu/LLaVA/issues Основное предполагаемое использование: Основное использование LLaVA — исследование крупных мультимодальных моделей и чат-ботов. Основные предполагаемые пользователи. Основными предполагаемыми пользователями модели являются исследователи и любители компьютерного зрения, обработки естественного языка, машинного обучения и искусственного интеллекта. 558 тысяч отфильтрованных пар изображение-текст из LAION/CC/SBU с субтитрами BLIP. 80 000 мультимодальных данных, генерируемых GPT, следующих за инструкциями. Предварительная оценка качества модели проводится путем создания набора из 90 вопросов визуального рассуждения из 30 уникальных изображений, случайно выбранных из COCO val 2014, и каждое связано с тремя типами вопросов: разговорным, подробным описанием и сложным рассуждением. Мы используем GPT-4 для оценки результатов модели. Мы также оцениваем нашу модель на наборе данных ScienceQA. Наша синергия с…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: liuhaotian
Теги: llava
Лайков: 22 | Загрузок: 1,757
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
