В этом репозитории размещены оптимизированные версии Phi-3-vision-128k-instruct для ускорения вывода с помощью среды выполнения ONNX для ваших машин с графическими процессорами NVIDIA. Phi-3 Vision — это легкая, современная открытая мультимодальная модель, построенная на наборах данных, которые включают синтетические данные и отфильтрованные общедоступные веб-данные с упором на очень высококачественные, аргументированные и плотные данные как в текстовом, так и в визуальном виде. Модель относится к семейству моделей Phi-3, а мультимодальная версия поддерживает длину контекста до 128 КБ (в токенах). Базовая модель прошла тщательный процесс усовершенствования, включающий как контролируемую точную настройку, так и прямую оптимизацию предпочтений, чтобы обеспечить точное соблюдение инструкций и надежные меры безопасности. Здесь публикуются оптимизированные варианты моделей Phi-3 Vision в формате ONNX для работы с ONNX Runtime на процессорах и графических процессорах на всех устройствах, включая серверные платформы, настольные компьютеры Windows, Linux и Mac, а также мобильные процессоры, с точностью, наиболее подходящей для каждой из этих целей. Вот некоторые из добавленных нами оптимизированных конфигураций: 1. Модель ONNX для FP16 CUDA: Модель ONNX для графических процессоров NVIDIA. 2. Модель ONNX для INT4 CUDA: модель ONNX для графических процессоров NVIDIA с использованием квантования int4 через RTN.…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: microsoft
Теги: onnx, phi3_v, ONNX, DML, ONNXRuntime, phi3, custom_code
Лайков: 27 | Загрузок: 57
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
