Создатель модели: Microsoft Исходная модель: Phi-3-mini-128k-instruct Это модель Phi-3-mini-128k-instruct, преобразованная в формат OpenVINO™ IR (промежуточное представление) с весами, сжатыми до INT8 с помощью NNCF. Сжатие веса выполнялось с помощью nncf.compressweights` со следующими параметрами: OpenVINO версии 2024.2.0 и выше. Optimum Intel 1.18.0 и выше. 1. Установите пакеты, необходимые для использования интеграции Optimum Intel с серверной частью OpenVINO. Дополнительные примеры и возможные оптимизации см. в Руководстве по выводу модели большого языка OpenVINO. Дополнительные примеры использования GenAI можно найти в документации и примерах библиотеки OpenVINO GenAI. Исходная модель распространяется под лицензией MIT. Более подробную информацию можно найти в оригинальной карточке модели. Intel стремится уважать права человека и избегать причинения или содействия неблагоприятному воздействию на права человека. См. Глобальные принципы Intel в области прав человека. Продукты и программное обеспечение Intel предназначены для использования только в приложениях, которые не оказывают и не способствуют неблагоприятному воздействию на права человека.
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: OpenVINO
Теги: openvino, phi3, conversational, custom_code, endpoints_compatible
Лайков: 5 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
