Как произнести имя модели? Посмотреть учебное пособие на YouTube IDEFICS (декодер с учетом изображений, улучшенный а-ля Flamingo с чередующимся перекрестным вниманием) — это репродукция Flamingo с открытым доступом, модели визуального языка с закрытым исходным кодом, разработанная Deepmind. Как и GPT-4, мультимодальная модель принимает произвольные последовательности входных изображений и текста и выдает текстовые выходные данные. IDEFICS построен исключительно на общедоступных данных и моделях. Модель может отвечать на вопросы об изображениях, описывать визуальное содержимое, создавать истории, основанные на нескольких изображениях, или просто вести себя как чисто языковая модель без визуальных входных данных. IDEFICS находится на одном уровне с исходной моделью с закрытым исходным кодом по различным критериям изображения и текста, включая визуальные ответы на вопросы (открытый и с множественным выбором), подписи к изображениям и классификацию изображений при оценке с помощью контекстного обучения с несколькими кадрами. Он существует в двух вариантах: большая версия с 80 миллиардами параметров и версия с 9 миллиардами параметров. Мы также настраиваем базовые модели с использованием набора данных контролируемой настройки и точной настройки инструкций, что повышает производительность последующих операций и делает модели более удобными для использования в диалоговых настройках: idefics-80b-instruct и…
Модальности:
Генерация текста Анализ изображений Мультимодальность
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: HuggingFaceM4
Теги: idefics, image-text-to-text, multimodal, text, image, image-to-text, en, text-generation-inference
Лайков: 189 | Загрузок: 4,659
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
