Тип модели: Tarsier-7b относится к семейству Tarsier — крупномасштабной модели видеоязыка с открытым исходным кодом, предназначенной для создания высококачественных описаний видео, а также хорошей способности к общему пониманию видео (Tarsier-34b получает результаты SOTA по 6 открытым тестам). Базовый LLM: liuhaotian/llava-v1.6-vicuna-7b Бумага или ресурсы для получения дополнительной информации: — репозиторий GitHub: https://github.com/bytedance/tarsier — ссылка на документ: https://arxiv.org/abs/2407.00634 Куда отправлять вопросы или комментарии по модели: https://github.com/bytedance/tarsier/issues Основное предполагаемое использование: основное использование Tarsier — исследование крупных мультимодальных моделей, особенно видеоописаний. Основные предполагаемые пользователи. Основными предполагаемыми пользователями модели являются исследователи и любители компьютерного зрения, обработки естественного языка, машинного обучения и искусственного интеллекта. Тарсьер предлагает двухэтапную стратегию обучения. — Этап-1: Многозадачное предварительное обучение на данных 13M. — Этап-2: Настройка многогранных инструкций на данных 500K. На обоих этапах мы замораживаем ViT и обучаем все параметры проекционного слоя и LLM. — Сложный набор данных для описания видео: DREAM-1K — VQA с множественным выбором: MVBench, NeXT-QA…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: omni-research
Теги: llava, endpoints_compatible
Лайков: 25 | Загрузок: 89,386
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
