Этот репозиторий содержит официальную контрольную точку для PixelGPT, представленную в документе «Авторегрессионное предварительное обучение по пикселям и текстам» (EMNLP 2024). Подробные инструкции по использованию модели можно найти на нашей странице GitHub. PixelGPT — это авторегрессионная языковая модель, предварительно обученная исключительно на пиксельных данных с использованием цели прогнозирования следующего патча. Обрабатывая документы как визуальные данные (пиксели), модель учится прогнозировать следующий фрагмент изображения в последовательности, что позволяет ей выполнять визуально сложные задачи, не полагаясь на токенизированный текст. Этот подход без токенизации позволяет PixelGPT обрабатывать и понимать текст, отображаемый в виде изображений.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ernie-research
Теги: ernie-pixel, endpoints_compatible
Лайков: 5 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
