Создатель модели: Mistral AI Исходная модель: Mixtral 8X7B Instruct v0.1 Это модель Mixtral-8x7b-Instruct-v0.1, преобразованная в формат OpenVINO™ IR (промежуточное представление) с весами, сжатыми до INT4 компанией NNCF. Сжатие веса выполнялось с помощью nncf.compressweights` со следующими параметрами: OpenVINO версии 2024.2.0 и выше. Optimum Intel 1.17.0 и выше. 1. Установите пакеты, необходимые для использования интеграции Optimum Intel с серверной частью OpenVINO. Дополнительные примеры и возможные оптимизации см. в Руководстве по выводу модели большого языка OpenVINO. Дополнительные примеры использования GenAI можно найти в документации и примерах библиотеки OpenVINO GenAI. Исходная модель распространяется под лицензией Apache 2.0. Более подробную информацию можно найти в оригинальной карточке модели. Intel стремится уважать права человека и избегать причинения или содействия неблагоприятному воздействию на права человека. См. Глобальные принципы Intel в области прав человека. Продукты и программное обеспечение Intel предназначены для использования только в приложениях, которые не оказывают и не способствуют неблагоприятному воздействию на права человека.
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: OpenVINO
Теги: openvino, mixtral, en, endpoints_compatible
Лайков: 4 | Загрузок: 32
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
