В этом репозитории представлена LLaVA v1.5, обученная с помощью Meta-Llama-3-8B-Instruct LLM. Эта интеграция направлена на использование сильных сторон обеих моделей для обеспечения более глубокого понимания языка и видения. — Предварительное обучение: обучается только проектор Vision-to-Language. Остальная часть модели заморожена. — Точная настройка: все параметры модели, включая LLM, настраиваются точно. Только зрительный позвоночник (CLIP) остается замороженным. — Примечание. Как во время предварительной тренировки, так и во время тонкой настройки магистральное зрение (CLIP) дополняется многомасштабными функциями после S2-Wrapper. — Базовая модель большого языка (LLM): Meta-Llama-3-8B-Instruct — Базовая большая мультимодальная модель (LMM): LLaVA-v1.5 — Набор данных для предварительного обучения: LCS-558K — Набор данных для точной настройки: LLaVA-Instruct-665K
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: MBZUAI
Теги: llava_llama, conversational, endpoints_compatible
Лайков: 4 | Загрузок: 19
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
