CogVLM 是一个强大的开源视觉语言模型（VLM）。CogVLM-17B 拥有 100 亿视觉参数和 70 Доступно 10 дополнительных устройств с поддержкой SOTA, поддержка NoCaps, Flicker30k субтитры、RefCOCO、RefCOCO+、RefCOCOg、Visual7W、GQA、ScienceQA、VizWiz VQA 和 TDIUC，而在 VQAv2、OKVQA、TextVQA、COCO субтитры CogVLM — это мощный Модель визуального языка с открытым исходным кодом (VLM). CogVLM-17B имеет 10 миллиардов параметров зрения и 7 миллиардов языковых параметров. CogVLM-17B демонстрирует высочайшую производительность в 10 классических кросс-модальных тестах, включая NoCaps, субтитры Flicker30k, RefCOCO, RefCOCO+, RefCOCOg, Visual7W, GQA, ScienceQA, VizWiz VQA и TDIUC, и занимает второе место по VQAv2, OKVQA, TextVQA, субтитрам COCO и т. д., превосходя или соответствующий PaLI-X 55B. CogVLM также может поговорить с вами об изображениях. CogVLM模型包括四个基本组件:视觉变换器（ViT）编码器、MLP适配器、预训练的大型语言模型(GPT)和一个视觉专家模块。更多细节请参见Paper。 Модель CogVLM состоит из четырех фундаментальных компонентов: кодера преобразователя изображения (ViT), адаптера MLP, предварительно обученной модели большого языка (GPT) и визуального экспертного модуля. См. раздел «Бумага» для получения более подробной информации. Код в этом репозитории имеет открытый исходный код под лицензией Apache-2.0, при этом использование весов модели CogVLM должно соответствовать Модель…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: zai-org
Теги: custom_code, en
Лайков: 7 | Загрузок: 55
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
