Создатель модели: Microsoft Оригинальная модель: Phi-3-mini-4k-instruct Это модель Phi-3-mini-4k-instruct, преобразованная в формат OpenVINO™ IR (промежуточное представление) с весами, сжатыми в INT4 NNCF. Сжатие веса выполнялось с использованием nncf.compressweights со следующими параметрами: OpenVINO версии 2024.4.0 и выше Optimum Intel 1.23.1 и выше 1. Установите пакеты, необходимые для использования интеграции Optimum Intel с бэкендом OpenVINO: Дополнительные примеры и возможные оптимизации см. в Руководстве OpenVINO Large Language Model Inference. Дополнительные примеры использования GenAI можно найти в документах и образцах библиотеки OpenVINO GenAI. Проверьте оригинальную карточку модели на наличие ограничений. Оригинальная модель распространяется по лицензии MIT. Более подробную информацию можно найти в оригинальной карточке модели. Intel стремится уважать права человека и избегать причинения или содействия неблагоприятному воздействию на права человека. См. Глобальные принципы Intel в области прав человека. Продукты и программное обеспечение Intel предназначены только для использования в приложениях, которые не вызывают или не способствуют неблагоприятному воздействию на права человека.
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: OpenVINO
Теги: openvino, phi3, conversational, custom_code, endpoints_compatible
Лайков: 3 | Загрузок: 1,234
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
