Silkie — это модель визуального языка, обученная с использованием фильтрации предпочтений на основе обратной связи ИИ, аннотированной GPT-4V. Это доработанная версия Qwen/Qwen-VL-Chat, обученная на нашем наборе данных MMInstruction/VLFeedback с прямой оптимизацией предпочтений (DPO). Silkie — это модель визуального языка, обученная путем дистилляции предпочтений на основе обратной связи ИИ, аннотированной GPT-4V. Это доработанная версия Qwen/Qwen-VL-Chat, обученная на нашем наборе данных MMInstruction/VLFeedback с прямой оптимизацией предпочтений (DPO). По сравнению с исходной моделью Silkile достигает относительного улучшения на 6,9% и 9,5% по эталону MME в отношении способностей восприятия и познания соответственно. Кроме того, Силки установил новый современный балл 3,02 по шкале MMHal-Bench по оценке галлюцинаций. Пожалуйста, посетите страницу нашего проекта для получения более подробной информации. — Страница проекта: https://vlf-silkie.github.io/ — Набор данных: https://huggingface.co/datasets/MMInstruction/VLFeedback — Документ: https://arxiv.org/abs/2312.10665 — Репозиторий: https://github.com/vlf-silkie/VLFeedback Silkie предназначен для исследовательских целей, особенно для исследования выравнивания в мультимодальных моделях. Ниже приведен простой фрагмент кода Python для начала…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: MMInstruction
Теги: qwen, custom_code
Лайков: 12 | Загрузок: 74
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
