Тип модели: NVILA — это модель визуального языка (VLM), предварительно обученная чередующимися данными изображения и текста в масштабе, позволяющая использовать VLM с несколькими изображениями. За последние годы модели визуального языка (VLM) добились значительного прогресса в точности. Однако их эффективности уделяется гораздо меньше внимания. В этом документе представлено NVILA, семейство открытых VLM, предназначенных для оптимизации эффективности и точности. Опираясь на VILA, мы улучшаем архитектуру модели, сначала увеличивая пространственное и временное разрешение, а затем сжимая визуальные токены. Такой подход «масштабирование, а затем сжатие» позволяет NVILA эффективно обрабатывать изображения высокого разрешения и длинные видео. Мы также проводим систематические исследования для повышения эффективности NVILA на протяжении всего жизненного цикла, от обучения и тонкой настройки до развертывания. NVILA соответствует или превосходит по точности многие ведущие открытые и проприетарные VLM в широком диапазоне тестов изображений и видео. В то же время это снижает затраты на обучение в 4,5 раза, тонкую настройку использования памяти в 3,4 раза, задержку предварительного заполнения в 1,6–2,2 раза и задержку декодирования в 1,2–2,8 раза. Вскоре мы опубликуем наш код и модели для облегчения воспроизводимости. Бумага или ресурсы для получения дополнительной информации…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Efficient-Large-Model
Теги: NVILA, VLM, endpoints_compatible
Лайков: 9 | Загрузок: 2,010
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
