Этот репозиторий содержит код и данные для VLM2Vec: обучение моделей на языке видения для задач массового мультимодального внедрения. В данной работе мы поставили перед собой цель построить единую мультимодальную модель встраивания для любых задач. Наша модель основана на преобразовании существующей хорошо обученной VLM (Phi-3.5-V) во встроенную модель. Мы выпустили несколько моделей VLM2Vec, построенных на разных магистралях VLM: https://huggingface.co/collections/TIGER-Lab/vlm2vec-6705f418271d085836e0cdd5. Кроме того, производительность этих моделей обновлена в README нашего репозитория GitHub: https://github.com/TIGER-AI-Lab/VLM2Vec/blob/main/README.md Наша модель обучается на MMEB-train и оценивается на MMEB-eval с контрастным обучением. Для обучения мы используем только пакетные негативы. Наши лучшие результаты были получены на основе обучения Lora с размером пакета 1024. У нас также есть контрольная точка с полным обучением с размером пакета 2048. Наши результаты по 36 наборам оценочных данных: — Данные обучения: https://huggingface.co/datasets/TIGER-Lab/MMEB-train — Данные оценки: https://huggingface.co/datasets/TIGER-Lab/MMEB-eval Наша модель может превзойти существующие базовые показатели с огромным отрывом. Затем вы можете войти в каталог и выполнить следующую команду. «`…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TIGER-Lab
Теги: phi3_v, Embedding, conversational, custom_code, en
Лайков: 29 | Загрузок: 74,189
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
