Создатель модели: Microsoft Оригинальная модель: Phi-3-mini-128k-instruct Это модель Phi-3-mini-128k-instruct, преобразованная в формат OpenVINO™ IR (промежуточное представление) с весами, сжатыми в INT4 NNCF. Сжатие веса выполнялось с помощью nncf.compressweights `со следующими параметрами: OpenVINO версии 2024.2.0 и выше Optimum Intel 1.18.0 и выше 1. Установите пакеты, необходимые для использования интеграции Optimum Intel с бэкендом OpenVINO: Дополнительные примеры и возможные оптимизации см. в Руководстве OpenVINO Large Language Model Inference. Другие примеры использования GenAI можно найти в документах и примерах библиотеки OpenVINO GenAI. Оригинальная модель распространяется под лицензией MIT. Более подробную информацию можно найти в оригинальной карточке модели. Intel стремится уважать права человека и избегать причинения или содействия неблагоприятному воздействию на права человека. См. Глобальные принципы Intel в области прав человека. Продукты и программное обеспечение Intel предназначены только для использования в приложениях, которые не вызывают или не способствуют неблагоприятному воздействию на права человека.
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: OpenVINO
Теги: openvino, phi3, conversational, custom_code, endpoints_compatible
Лайков: 3 | Загрузок: 47
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
