TinyLLaVA выпустила семейство небольших больших мультимоделей (LMM) размером от 0,55B до 3,1B. Наша лучшая модель, TinyLLaVA-Phi-2-SigLIP-3.1B, обеспечивает более высокую общую производительность по сравнению с существующими моделями 7B, такими как LLaVA-1.5 и Qwen-VL. Здесь мы представляем TinyLLaVA-OpenELM-450M-CLIP-0.55B, который обучается на базе кодовой базы TinyLLaVA Factory. Для LLM и Vision Tower мы выбираем OpenELM-450M-Instruct и clip-vit-base-patch16 соответственно. Набор данных, используемый для обучения этой модели, — это набор данных LLaVA. P.S. TinyLLaVA Factory — это модульная база кода с открытым исходным кодом для небольших LMM, в которой основное внимание уделяется простоте реализации кода, расширяемости новых функций и воспроизводимости результатов обучения. Этот репозиторий кода предоставляет стандартные конвейеры обучения и оценки, гибкую предварительную обработку данных и конфигурации моделей, а также легко расширяемую архитектуру. Пользователи могут настраивать свои собственные LMM с минимальными усилиями по кодированию и меньшим количеством ошибок при кодировании. TinyLLaVA Factory объединяет набор передовых моделей и методов. — LLM в настоящее время поддерживает OpenELM, TinyLlama, StableLM, Qwen, Gemma и Phi. — Vision Tower в настоящее время поддерживает CLIP, SigLIP, Dino и комбинацию CLIP и Dino. -…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: jiajunlong
Теги: custom_code
Лайков: 6 | Загрузок: 62
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
