Это модель анализа текста и генерации вопросов для документа ICCV 2023. TIFA: Точная и интерпретируемая оценка достоверности преобразования текста в изображение с ответом на вопрос. Мы представляем TIFA (оценка достоверности преобразования текста в изображение с ответом на вопрос), автоматический показатель оценки, который измеряет достоверность сгенерированного изображения его текстовому вводу посредством визуального ответа на вопрос (VQA). В частности, при вводе текста мы автоматически генерируем несколько пар вопрос-ответ, используя языковую модель. Мы рассчитываем достоверность изображения, проверяя, могут ли существующие модели VQA ответить на эти вопросы, используя сгенерированное изображение. В частности, эта доработанная модель LLaMA 2 является заменой модели GPT-3, описанной в статье. Он может разобрать произвольную подсказку на визуальные сущности, атрибуты, отношения и т. д. и сгенерировать кортежи вопросов-ответов для каждого из них. См. примеры ниже. Все коды взяты из . Клонируйте этот репозиторий, чтобы легко использовать эту модель вместе с другими модулями (например, VQA), представленными в TIFA. Пожалуйста, следуйте формату подсказок, который обеспечит наилучшую производительность. tifascore предоставляет дополнительные функции для анализа этого вывода и т. д. Сначала установите tifascore в соответствии с . Тогда использование…
Модальности:
Генерация текста Генерация изображений
Задача: Генерация текста
Автор: tifa-benchmark
Теги: llama, text-generation-inference, llama2, text-to-image, en, endpoints_compatible
Лайков: 10 | Загрузок: 207
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
