Тип модели: ShareCaptioner-Video — это субтитер с открытым исходным кодом, настроенный на основе подробных данных титров ShareGPT4Video с помощью GPT4V и поддерживающий различную длительность, соотношение сторон и разрешение видео. ShareCaptioner-Video основан на модели InternLM-Xcomposer2-4KHD. — Быстрые субтитры: модель использует формат сетки изображений для прямых субтитров к видео, обеспечивая высокую скорость создания, которая идеально подходит для коротких видеороликов. На практике мы объединяем все ключевые кадры видео в вертикально вытянутое изображение и обучаем модель выполнению задачи над субтитрами. — Скользящие субтитры: модель поддерживает потоковые субтитры в формате дифференциального скользящего окна, обеспечивая высококачественные субтитры, подходящие для длинных видеороликов. Мы берем два соседних ключевых кадра рядом с предыдущим дифференциальным заголовком в качестве входных данных и обучаем модель описывать события, происходящие между ними. — Подведение итогов клипов: модель может быстро суммировать любой клип из ShareGPT4Video или видео, прошедших процесс дифференциального субтитров в скользящем окне, устраняя необходимость повторной обработки кадров. Мы используем все дифференциальные описания в качестве входных данных, а выходными данными являются подписи к видео. — Быстрое повторение субтитров:…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Lin-Chen
Теги: internlmxcomposer2, conversational, custom_code
Лайков: 19 | Загрузок: 998
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
