MoE-LLaVA: смесь экспертов для больших моделей визуального языка. Если вам понравился наш проект, поставьте нам звездочку ⭐ на GitHub, чтобы получать последние обновления. [2024.01.30] Статья опубликована. [2024.01.27] 🤗Демо-версия Hugging Face, а также все коды и наборы данных уже доступны! Добро пожаловать в 👀 этот репозиторий, чтобы быть в курсе последних обновлений. MoE-LLaVA показывает отличные результаты в мультимодальном обучении. — Имея всего лишь 3B редко активируемых параметров, MoE-LLaVA демонстрирует производительность, сравнимую с LLaVA-1.5-7B на различных наборах данных визуального понимания, и даже превосходит LLaVA-1.5-13B в тестах на объектные галлюцинации. — Добавив простой этап настройки MoE, мы можем завершить обучение MoE-LLaVA на 8 графических процессорах V100 за 2 дня. Настоятельно рекомендуем опробовать нашу веб-демо-версию с помощью следующей команды, которая включает в себя все функции, поддерживаемые в настоящее время MoE-LLaVA. Мы также предоставляем онлайн-демонстрацию в Huggingface Spaces. Python >= 3.10 Pytorch == 2.0.1 Версия CUDA >= 11.7 Трансформеры == 4.36.2 Токенизаторы == 0.15.1 Установите необходимые пакеты: инструкции по обучению и проверке находятся в TRAIN.md и EVAL.md. Мы открываем исходный код всех кодов. Если вы хотите загрузить модель (например, ) локально, вы можете использовать…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: LanguageBind
Теги: moe_llava_stablelm, custom_code, endpoints_compatible
Лайков: 8 | Загрузок: 203
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
