В этом репозитории представлена LLaVA v1.5, обученная с помощью LLM Phi-3-mini-3.8B. Эта интеграция направлена на использование сильных сторон обеих моделей для обеспечения более глубокого понимания языка и видения. — Предварительное обучение: обучается только проектор Vision-to-Language. Остальная часть модели заморожена. — Точная настройка: LLM настроен на основе LoRA. Только зрительный позвоночник (CLIP) остается замороженным. — Примечание. Репозиторий содержит объединенные веса. — Базовая большая языковая модель (LLM): Phi-3-mini-4k-instruct — Базовая большая мультимодальная модель (LMM): LLaVA-v1.5 — Набор данных для предварительного обучения: LCS-558K — Набор данных для точной настройки: LLaVA-Instruct-665K
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: MBZUAI
Теги: llava_phi, conversational, custom_code, endpoints_compatible
Лайков: 21 | Загрузок: 157
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
