Тип модели: LLaVA-Next-Video — это чат-бот с открытым исходным кодом, обученный путем тонкой настройки LLM на мультимодальных данных, следующих инструкциям. Базовый LLM: NousResearch/Nous-Hermes-2-Yi-34B Дата модели: LLaVA-Next-Video-34B прошел обучение в апреле 2024 года. Бумага или ресурсы для получения дополнительной информации: https://github.com/LLaVA-VL/LLaVA-NeXT. Основное предполагаемое использование: Основное использование LLaVA — исследования крупных мультимодальных моделей и чат-ботов. Основные предполагаемые пользователи. Основными предполагаемыми пользователями модели являются исследователи и любители компьютерного зрения, обработки естественного языка, машинного обучения и искусственного интеллекта. — 558 тыс. отфильтрованных пар изображение-текст из LAION/CC/SBU с субтитрами BLIP. — 158 КБ мультимодальных данных, генерируемых GPT, следующих за инструкциями. — 500 тыс. данных VQA, ориентированных на академические задачи. — Смесь данных 50K GPT-4V. — 40 000 данных ShareGPT. Коллекция из 4 тестов, включая 3 академических теста VQA и 1 тест субтитров.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: lmms-lab
Теги: llava, conversational
Лайков: 15 | Загрузок: 21
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
