В этом репозитории размещены оптимизированные версии Phi-3-vision-128k-instruct для ускорения вывода с помощью DirectML и среды выполнения ONNX для ваших компьютеров с графическими процессорами. Phi-3 Vision — это легкая, современная открытая мультимодальная модель, построенная на наборах данных, которые включают синтетические данные и отфильтрованные общедоступные веб-данные с упором на очень высококачественные, аргументированные и плотные данные как в текстовом, так и в визуальном виде. Модель относится к семейству моделей Phi-3, а мультимодальная версия поддерживает длину контекста до 128 КБ (в токенах). Базовая модель прошла тщательный процесс усовершенствования, включающий как контролируемую точную настройку, так и прямую оптимизацию предпочтений, чтобы обеспечить точное соблюдение инструкций и надежные меры безопасности. Здесь публикуются оптимизированные варианты моделей Phi-3 Vision в формате ONNX для работы с ONNX Runtime на процессорах и графических процессорах на всех устройствах, включая серверные платформы, настольные компьютеры Windows, Linux и Mac, а также мобильные процессоры, с точностью, наиболее подходящей для каждой из этих целей. Поддержка DirectML позволяет разработчикам реализовывать аппаратное ускорение на устройствах Windows в масштабе с использованием графических процессоров AMD, Intel и NVIDIA. Наряду с DirectML, ONNX Runtime обеспечивает кроссплатформенную поддержку Phi-3…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: microsoft
Теги: onnx, phi3_v, ONNX, DML, ONNXRuntime, phi3, custom_code
Лайков: 8 | Загрузок: 44
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
