Мы представляем AnyGPT, мультимодальную языковую модель «любой к любому», которая использует дискретные представления для унифицированной обработки различных модальностей, включая речь, текст, изображения и музыку. Базовая модель объединяет четыре модальности, позволяя осуществлять интермодальные преобразования между различными модальностями и текстом. Кроме того, мы построили набор данных AnyInstruct на основе различных генеративных моделей, который содержит инструкции для произвольного модального взаимного преобразования. Обученная на этом наборе данных, наша модель чата может участвовать в бесплатных мультимодальных беседах, в которые по желанию можно вставлять мультимодальные данные. AnyGPT предлагает схему генеративного обучения, которая преобразует все модальные данные в единое дискретное представление, используя задачу прогнозирования следующего токена для унифицированного обучения на модели большого языка (LLM). С точки зрения «сжатие — это интеллект»: когда качество токенизатора достаточно высокое, а степень недоумения (PPL) LLM достаточно низкая, можно сжать огромное количество мультимодальных данных в Интернете в одну и ту же модель, тем самым открывая возможности, отсутствующие в чисто текстовом LLM. Демо показаны на странице проекта. Проверьте вес базы AnyGPT в…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: OpenMOSS-Team
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 12 | Загрузок: 1,206
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
