CogVLM2-Video обеспечивает высочайшую производительность при решении нескольких задач видеоответов на вопросы. Он может достичь понимания видео в течение одной минуты. Мы предоставляем два примера видео, чтобы продемонстрировать возможности CogVLM2-Video по распознаванию видео и возможностям временного заземления видео. На следующей диаграмме показана производительность CogVLM2-Video в наборах данных MVBench, VideoChatGPT-Bench и Zero-shot VideoQA (MSVD-QA, MSRVTT-QA, ActivityNet-QA). Где VCG- относится к VideoChatGPTBench, ZS- относится к наборам данных Zero-Shot VideoQA, а MV-* относится к основным категориям в MVBench. Производительность на наборе данных VideoChatGPT-Bench и Zero-shot VideoQA: мы следуем предыдущим работам, чтобы оценить производительность нашей модели. В различных тестах мы создаем подсказки для конкретных задач для каждого теста: коды оценки см. в сценарии оценки в PLLaVA. Этот репозиторий представляет собой модель версии чата и поддерживает однораундный чат. Вы можете быстро установить зависимости пакета Python и запустить вывод модели в нашем GitHub. Эта модель выпущена по лицензии CogVLM2. Для моделей, созданных с использованием Meta Llama 3, также соблюдайте LLAMA3_LICENSE. Пожалуйста, обратитесь к нашему техническому отчету для…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: zai-org
Теги: chat, cogvlm2, cogvlm—video, conversational, custom_code, en
Лайков: 54 | Загрузок: 69
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
