В этом репозитории размещены оптимизированные версии Phi-3.5-mini-instruct для ускорения вывода с помощью ONNX Runtime. Здесь публикуются оптимизированные модели Phi-3.5 Mini в формате ONNX для работы с ONNX Runtime на процессорах и графических процессорах на всех устройствах, включая серверные платформы, настольные компьютеры Windows, Linux и Mac, а также мобильные процессоры, с точностью, наиболее подходящей для каждой из этих целей. Чтобы легко начать работу с Phi-3.5, вы можете использовать наш недавно представленный API ONNX Runtime Generate(). Здесь вы найдете инструкции о том, как его запустить. Вот некоторые из добавленных нами оптимизированных конфигураций: 1. Модель ONNX для ЦП INT4: Модель ONNX для ЦП, использующих квантование int4 через AWQ. 2. Модель ONNX для графического процессора INT4: модель ONNX для графических процессоров, использующих квантование int4 через AWQ. Phi-3.5 mini — это легкая, современная открытая модель, созданная на основе наборов данных, используемых для Phi-3 — синтетических данных и отфильтрованных общедоступных веб-сайтов — с упором на очень высококачественные и обоснованные данные. Модель принадлежит к семейству моделей Phi-3 и поддерживает длину контекста токена 128 КБ. Модель прошла строгий процесс усовершенствования, включающий как контролируемую точную настройку, проксимальную оптимизацию политики, так и прямую оптимизацию предпочтений, чтобы гарантировать…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: microsoft
Теги: onnx, phi3, ONNX, DML, ONNXRuntime, nlp, conversational, custom_code
Лайков: 37 | Загрузок: 123
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
