Генеративные мультимодальные модели — это учащиеся в контексте Генерирующие мультимодальные модели — это учащиеся в контексте Цюань Сунь1, Юфэн Цуй1, Сяосун Чжан1, Фань Чжан1, Циин Юй2,1*, Чжэнсюн Луо1, [Юэцзэ Ван]()1, Юнмин Рао1, Цзинцзин Лю2, Тецзюнь Хуан1,3, Синьлун Ван1† способность человека легко решать мультимодальные задачи в контексте (т. е. с помощью всего лишь нескольких демонстраций или простых инструкций) — это то, что современные мультимодальные системы в значительной степени пытаются имитировать. В этой работе мы демонстрируем, что возможности контекстного обучения больших мультимодальных моделей, не зависящие от задачи, могут быть значительно улучшены за счет эффективного масштабирования. Мы представляем Emu2, генеративную мультимодальную модель с 37 миллиардами параметров, обученную на крупномасштабных мультимодальных последовательностях с единой целью авторегрессии. Emu2 демонстрирует сильные мультимодальные способности к контекстному обучению, способные даже решать задачи, требующие оперативного рассуждения, такие как визуальные подсказки и объектно-ориентированная генерация. Модель устанавливает новый рекорд по множеству мультимодальных задач понимания в условиях нескольких шагов. При настройке инструкций на выполнение конкретных инструкций Emu2 еще больше достигает нового уровня развития в сложных задачах, таких как…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: BAAI
Теги: custom_code, en
Лайков: 89 | Загрузок: 22
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
