Форк LLaVA, позволяющий языковым моделям Mistral-7B и Open-Hermes-2.5 обрабатывать изображения. Этот репозиторий и связанные с ним модели были созданы в сотрудничестве между командой Робина из AGI-Collective и Саймоном Рамстедтом с использованием вычислительных ресурсов Hessian-AI и OLCF. Усилия Робина: мы изучаем различные компоненты и методы для объединения предварительно обученных зрительных и языковых моделей с целью создания моделей лучшего визуального понимания. В рамках этого первого этапа мы изучаем предварительно обученные LLM (Vicuna, Mistral и OpenHermes 2.5) и модели Vision (CLIP и SigLIP), дополнительно улучшая возможности за счет точной настройки кодировщика машинного зрения. В идеале установить в пустой venv (python -m venv venv && source venv/bin/activate). Обратите внимание, что в настоящее время для вывода Robin-LlaVA требуется графический процессор Nvidia с 24 ГБ+, поскольку вывод ЦП и квантованный вывод пока не работают надежно. Обучение проводилось на машине с 8 графическими процессорами Nvidia A100 80 ГБ, предоставленными Hessian-AI. Мы используем следующие компоненты: — Базовый LLM: мы исследуем с использованием Vicuna, Mistral и OpenHermes-2.5 — Базовая модель зрения: мы используем модель SigLIP, поскольку она обеспечивает более высокую производительность в тестах машинного зрения по сравнению с CLIP — Мы точно настраиваем Vision Encoder…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: cerc-aai
Теги: llava, endpoints_compatible
Лайков: 13 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
