EVE: Представляем модели визуального языка без кодировщиков Представляем модели визуального языка без кодировщиков Хайвэнь Дяо, Юфэн Цуй, Сяотун Ли, Юэцзэ Ван, Хучуань Лу📧, Синьлун Ван📧 Даляньский технологический университет; Пекинская академия искусственного интеллекта; Пекинский университет Существующие модели визуального языка (VLM) в основном полагаются на видеокодеры для извлечения визуальных функций, за которыми следуют большие языковые модели (LLM) для задач визуального языка. Однако кодеры изображения устанавливают сильное индуктивное смещение при абстрагировании визуального представления, например, разрешения, соотношения сторон и семантических априорных значений, что может препятствовать гибкости и эффективности VLM. Обучение чистых VLM, которые принимают непрерывные входные данные изображения и языка, т. е. без видеокодеров, остается сложной задачей и редко исследуется. Эмпирические наблюдения показывают, что прямое обучение без кодеров приводит к медленной сходимости и большим разрывам в производительности. В этой работе мы устраняем разрыв между моделями на основе кодировщиков и моделями без кодеров и представляем простой, но эффективный рецепт обучения чистым VLM. В частности, мы раскрываем ключевые аспекты эффективного обучения VLM без кодировщиков посредством тщательных экспериментов: (1) Соединение видения и языка…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: BAAI
Теги: eve, endpoints_compatible
Лайков: 6 | Загрузок: 50
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
