Bunny — семейство легких, но мощных мультимодальных моделей. Он предлагает несколько готовых к использованию видеокодеров, таких как EVA-CLIP, SigLIP и языковые магистрали, включая Llama-3-8B, Phi-1.5, StableLM-2, Qwen1.5, MiniCPM и Phi-2. Чтобы компенсировать уменьшение размера модели, мы строим более информативные обучающие данные путем тщательного отбора из более широкого источника данных. Примечательно, что наша модель Bunny-v1.0-3B, построенная на SigLIP и Phi-2, превосходит современные модели MLLM не только по сравнению с моделями аналогичного размера, но и по сравнению с более крупными платформами MLLM (7B), и даже достигает производительности на уровне моделей 13B. Модель предварительно обучена на ЛАИОН-2М и доработана на Зайке-695К. Более подробную информацию об этой модели можно найти на GitHub. Здесь мы показываем фрагмент кода, показывающий, как использовать модель с преобразователями. Перед запуском фрагмента необходимо установить следующие зависимости: Если памяти CUDA достаточно, выполнение этого фрагмента будет быстрее, если установить CUDAVISIBLEDEVICES=0. Пользователи, особенно проживающие в материковом Китае, могут захотеть обратиться к зеркальному сайту HuggingFace. В этом проекте используются определенные наборы данных и контрольные точки, которые соответствуют их оригинальным…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: BAAI
Теги: bunny-phi, custom_code
Лайков: 42 | Загрузок: 459
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
