Модель MPT 7b, согласованная с чатом, сокращена до 50 % и квантована с использованием SparseGPT для вывода с помощью DeepSparse.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: RedHatAI
Теги: onnx, mpt, deepsparse, custom_code
Лайков: 4 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.