В этом репозитории размещены оптимизированные версии Phi-3-vision-128k-instruct для ускорения вывода с помощью среды выполнения ONNX для вашего процессора. Phi-3 Vision — это легкая, современная открытая мультимодальная модель, построенная на наборах данных, которые включают синтетические данные и отфильтрованные общедоступные веб-данные с упором на очень высококачественные, аргументированные и плотные данные как в текстовом, так и в визуальном виде. Модель относится к семейству моделей Phi-3, а мультимодальная версия поддерживает длину контекста до 128 КБ (в токенах). Базовая модель прошла тщательный процесс усовершенствования, включающий как контролируемую точную настройку, так и прямую оптимизацию предпочтений, чтобы обеспечить точное соблюдение инструкций и надежные меры безопасности. Здесь публикуются оптимизированные варианты моделей Phi-3 Vision в формате ONNX для работы с ONNX Runtime на процессорах и графических процессорах на всех устройствах, включая серверные платформы, настольные компьютеры Windows, Linux и Mac, а также мобильные процессоры, с точностью, наиболее подходящей для каждой из этих целей. Вот некоторые из добавленных нами оптимизированных конфигураций: 1. Модель ONNX для ЦП INT4: Модель ONNX для ЦП, использующих квантование int4 через RTN. Как узнать, какая модель ONNX подойдет вам лучше всего: — Вы используете компьютер с Windows…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: microsoft
Теги: onnx, phi3_v, ONNX, DML, ONNXRuntime, phi3, custom_code
Лайков: 29 | Загрузок: 64
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
