В этом репозитории размещены оптимизированные версии Mistral-7B-Instruct-v0.2 для ускорения вывода с помощью ONNX Runtime. Модель большого языка Mistral-7B-Instruct-v0.2 (LLM) представляет собой усовершенствованную версию Mistral-7B-v0.2. Здесь публикуются оптимизированные модели Mistral в формате ONNX для работы с ONNX Runtime на процессорах и графических процессорах на всех устройствах, включая серверные платформы и настольные компьютеры Windows, Linux и Mac, с точностью, наиболее подходящей для каждой из этих целей. Поддержка DirectML позволяет разработчикам реализовывать аппаратное ускорение на устройствах Windows в масштабе с использованием графических процессоров AMD, Intel и NVIDIA. Наряду с DirectML, ONNX Runtime обеспечивает кроссплатформенную поддержку Mistral на различных устройствах для ЦП и ГП. Чтобы легко начать работу с Mistral, вы можете использовать Olive, наш простой в использовании инструмент оптимизации моделей с учетом аппаратного обеспечения. Инструкции по запуску с Mistral см. здесь. Вот некоторые из добавленных нами оптимизированных конфигураций: 1. Модель ONNX для int4 DML: модель ONNX для графических процессоров AMD, Intel и NVIDIA в Windows, квантованная до int4 с помощью AWQ. 2. Модель ONNX для fp16 CUDA: модель ONNX, которую вы можете использовать для своих графических процессоров NVIDIA. 3. Модель ONNX для int4 CUDA: модель ONNX для графических процессоров NVIDIA с использованием…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: microsoft
Теги: onnx, ONNX, DML, ONNXRuntime, mistral, conversational, custom_code
Лайков: 6 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
