MobileVLM — это компетентная модель языка мультимодального машинного зрения (MMVLM), предназначенная для работы на мобильных устройствах. Это объединение множества архитектурных проектов и методов, ориентированных на мобильные устройства, которое включает в себя набор языковых моделей в масштабе параметров 1,4B и 2,7B, обученных с нуля, мультимодальную модель зрения, предварительно обученную в стиле CLIP, кросс-модальное взаимодействие через эффективный проектор. Мы оцениваем MobileVLM по нескольким типичным тестам VLM. Наши модели демонстрируют производительность на одном уровне с некоторыми гораздо более крупными моделями. Что еще более важно, мы измеряем скорость вывода как на процессоре Qualcomm Snapdragon 888, так и на графическом процессоре NVIDIA Jeston Orin, и получаем современную производительность — 21,5 токенов и 65,3 токенов в секунду соответственно. MobileVLM-1.7B был создан на основе нашего MobileLLaMA-1.4B-Chat) для облегчения готового развертывания. — Репозиторий: https://github.com/Meituan-AutoML/MobileVLM — Документ: https://arxiv.org/abs/2312.16886. См. нашу статью: MobileVLM: быстрый, надежный и открытый языковой помощник для мобильных устройств.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: mtgv
Теги: mobilevlm, MobileVLM, endpoints_compatible
Лайков: 15 | Загрузок: 1,132
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
