Модели Oryx представляют собой модели с параметрами 7/34B, обученные на Oryx-SFT-Data, на основе языковой модели Qwen2 с контекстным окном из 32 000 токенов. Oryx предлагает решение по запросу для плавной и эффективной обработки визуальных данных с произвольными пространственными размерами и временными длинами. — Репозиторий: https://github.com/Oryx-mllm/Oryx — Языки: английский, китайский — Бумага: https://arxiv.org/abs/2409.12961 Мы предоставляем простой процесс генерации для использования нашей модели. Для получения более подробной информации обратитесь к нашему репозиторию на Github. Архитектура: предварительно обученный Oryx-ViT + Qwen2-7B. Модель инициализации: Oryx-7B-Image. Данные: смесь 1,2 млн изображений и видеоданных. Точность: BFloat16. Аппаратное обеспечение: 64 NVIDIA Tesla A100. Оркестровка: HuggingFace Trainer. Код:** Pytorch.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: THUdyh
Теги: oryx_qwen, conversational, en, zh
Лайков: 12 | Загрузок: 10
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
