В этом репозитории размещены оптимизированные версии Phi-3-mini-128k-instruct для ускорения вывода с помощью ONNX Runtime. Phi-3 Mini — это легкая, современная открытая модель, созданная на основе наборов данных, используемых для Phi-2 — синтетических данных и отфильтрованных веб-сайтов — с упором на очень высококачественные и обоснованные данные. Модель принадлежит к семейству моделей Phi-3, а мини-версия доступна в двух вариантах: 4K и 128K, что соответствует длине контекста (в токенах), которую она может поддерживать. Модель прошла тщательный процесс усовершенствования, включающий как контролируемую точную настройку, так и прямую оптимизацию предпочтений, чтобы обеспечить точное соблюдение инструкций и надежные меры безопасности. Здесь публикуются оптимизированные модели Phi-3 Mini в формате ONNX для работы с ONNX Runtime на процессорах и графических процессорах на всех устройствах, включая серверные платформы, настольные компьютеры Windows, Linux и Mac, а также мобильные процессоры, с точностью, наиболее подходящей для каждой из этих целей. Поддержка DirectML позволяет разработчикам реализовывать аппаратное ускорение на устройствах Windows в масштабе с использованием графических процессоров AMD, Intel и NVIDIA. Наряду с DirectML, ONNX Runtime обеспечивает кроссплатформенную поддержку Phi-3 Mini на различных устройствах для ЦП, графических процессоров и мобильных устройств. Чтобы легко начать работу с…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: microsoft
Теги: onnx, phi3, ONNX, DML, ONNXRuntime, nlp, conversational, custom_code
Лайков: 192 | Загрузок: 126
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
