Это модель реализации CVPR 2024 «Последовательное моделирование обеспечивает масштабируемое обучение для моделей с большим обзором». (https://arxiv.org/abs/2312.00785) LVM — это модель предварительной тренировки зрения, которая преобразует различные виды визуальных данных в визуальные предложения и выполняет авторегрессионное прогнозирование следующего токена. Он совместим как с графическим процессором, так и с TPU. LVM построен на базе OpenLLaMA (авторегрессионная модель) и OpenMuse (VQGAN, преобразующая изображения в визуальные токены). Это было обучено в сотрудничестве с HuggingFace. Спасибо Виктору Саню за поддержку в этом проекте. 1. В настоящее время мы выпускаем модель 7B (ранее 3B). Дополнительные варианты размеров модели будут доступны в ближайшее время. 2. К набору данных LAION была применена глубокая фильтрация (включая фильтры качества, дедупликацию и удаление известного контента CSAM), что позволило уменьшить размер набора данных с 1,5 МБ до 1,2 МБ изображений. Если вы нашли LVM полезным в своих исследованиях или приложениях, процитируйте нашу работу, используя следующий BibTeX:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Emma02
Теги: llama, image, video, text-generation-inference
Лайков: 6 | Загрузок: 20
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
