Apollo — это семейство больших мультимодальных моделей (LMM), которые выводят на новый уровень понимание видео. Он поддерживает такие задачи, как: — Понимание длинных видео — Временное рассуждение — Сложные ответы на вопросы по видео — Многоходовые разговоры, основанные на видеоконтенте. Модели Apollo превосходно справляются с обработками часовых видео, балансируя скорость и точность благодаря стратегическим дизайнерским решениям. Наши модели превосходят большинство конкурентов 7B всего лишь по параметрам 3B и даже конкурируют с моделями масштаба 30B. Ключевые особенности: — Согласованность масштабирования: проектные решения, проверенные на меньших моделях и наборах данных, эффективно передаются в более крупные масштабы, что снижает затраты на вычисления и эксперименты. — Эффективная выборка видео: выборка кадров в секунду и расширенные стратегии повторной выборки токенов (например, Perceiver) обеспечивают более сильное временное восприятие. — Синергия кодировщиков: объединение SigLIP-SO400M (изображение) с InternVideo2 (видео) обеспечивает надежное представление, превосходя одиночные кодеры при выполнении временных задач. — ApolloBench: оптимизированный оценочный тест (в 41 раз быстрее), который фокусируется на реальных возможностях понимания видео. Для получения более подробной информации посетите веб-сайт проекта или ознакомьтесь с документом.
Модальности:
Генерация текста Компьютерное зрение Мультимодальность
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: GoodiesHere
Теги: apollo, video, video-understanding, vision, multimodal, conversational, custom_code, instruction-tuning
Лайков: 21 | Загрузок: 98
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
