BAAI/Emu3-Chat - Каталог нейросетей
Генерация текста

BAAI/Emu3-Chat

Добавлено:
BAAI/Emu3-Chat

Мы представляем Emu3, новый набор современных мультимодальных моделей, обученных исключительно с помощью прогнозирования следующего токена! Токенизируя изображения, текст и видео в дискретном пространстве, мы с нуля обучаем один преобразователь на смеси мультимодальных последовательностей. Emu3 превосходит несколько хорошо зарекомендовавших себя моделей для конкретных задач как в задачах генерации, так и в задачах восприятия, превосходя флагманские открытые модели, такие как SDXL, LLaVA-1.6 и OpenSora-1.2, устраняя при этом необходимость в диффузионных или композиционных архитектурах. — Emu3 способен генерировать высококачественные изображения после ввода текста, просто предсказывая следующий токен видения. Модель, естественно, поддерживает гибкие разрешения и стили. — Emu3 демонстрирует сильные способности к пониманию визуального языка, позволяя видеть физический мир и обеспечивает связные текстовые ответы. Примечательно, что эта возможность достигается без зависимости от CLIP и предварительно обученного LLM. — Emu3 просто генерирует видео причинно, предсказывая следующий токен в видеопоследовательности, в отличие от модели распространения видео, как в Sora. Используя видео в контексте, Emu3 также может естественным образом расширить видео и предсказать, что произойдет дальше.

Модальности:
Генерация текста

Области применения:
Диалог / чат


Задача: Генерация текста
Автор: BAAI
Теги: Emu3, custom_code, endpoints_compatible
Лайков: 75  |  Загрузок: 12,595

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.