DeTikZifyv2 (8b) — это мультимодальная языковая модель, которая автоматически преобразует эскизы и существующие научные данные в редактируемые графические программы TikZ, сохраняющие семантику. Он основан на LLaMA3.1 (8b) и видеокодере SigLIP PaliGemmaMix-448 (3b). Посетите проект DeTikZify для получения дополнительной информации и советов о том, как лучше всего запустить модель. Мы документируем все изменения между DeTikZifyv1 и DeTikZifyv2 в нашей статье «TikZero: синтез графической программы с нулевым выстрелом». Для удобства они также перечислены ниже. Подобно DeTikZifyv1, DeTikZifyv2 использует видеокодер SigLIP. Однако, вдохновленные продолжающейся предварительной тренировкой ViT в InternVL, мы инициализируем веса с помощью точно настроенного видеокодера PaliGemmaMix-448 (3b) и увеличиваем разрешение DeTikZify до 420×420 пикселей. Кроме того, видеокодер больше не остается замороженным, а полностью настраивается на остальную часть модели. Для предварительного обучения мы переключаемся с Metafig на гораздо больший набор данных ArXivCap и извлекаем 1 миллион кортежей (рисунок, подпись, OCR) для предварительного обучения соединителя модальности. Для более точной настройки мы создаем новый набор данных DaTikZv3, содержащий более 450 тысяч рисунков TikZ. Мы также обучаем новую модель под названием…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nllg
Теги: detikzify, endpoints_compatible
Лайков: 14 | Загрузок: 77
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
