Мультимодальная модель большого языка (MLLM) на основе CrystalChat-7B имитирует рецепт обучения, используемый для LLaVa-v1.5 на базе Vicuna-7B. Модели MLLM на основе CrystalChat-7B полностью прозрачны: все материалы, включая код, данные, контрольную точку модели, промежуточные результаты и многое другое, находятся в открытом доступе в Web2Code: крупномасштабный набор данных для преобразования веб-страницы в код и оценочную структуру для мультимодальных LLM. CrystalChat-7B-Web2Code MLLM специализируется на генерации кода изображений веб-страниц в HTML. Наш процесс создания набора данных для настройки инструкций Web2Code и процесса генерации инструкций включает в себя четыре ключевых компонента: 1. Создание новых данных пары «изображение-код» веб-страницы (DWCG). Мы сгенерировали высококачественные пары «веб-страница-код» в формате HTML, следуя подсказке CodeAlpaca, с использованием GPT-3.5 и преобразовали их в данные, следующие за инструкциями. 2. Уточнение существующих данных для генерации кода веб-страницы (DWCGR). Мы преобразуем существующие наборы данных, включая WebSight и Pix2Code, в формат данных, следующих инструкциям, аналогичный данным LLaVA, поэтому их можно использовать в качестве данных, следующих за инструкциями, для обучения MLLM. 3. Создание новых текстовых данных пары вопрос-ответ (DWU). Мы создали новый набор данных пары вопрос-ответ, используя наш новый сгенерированный GPT-3.5…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: LLM360
Теги: llava_crystal, nlp, llm, mllm, custom_code, en, endpoints_compatible
Лайков: 5 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
