Этот репозиторий содержит файлы моделей для Llama-2-7b-chat-hf, оптимизированные для DeepSparse, среды выполнения вывода ЦП для разреженных моделей. Эта модель была квантована и сокращена с помощью SparseGPT с использованием SparseML. Подробную информацию о том, как эта модель была разрежена, см. в файле рецепта.yaml в этом репозитории и следуйте инструкциям ниже. Запустите эту инъекцию kv-кэша, чтобы ускорить вывод модели за счет кэширования состояний ключа и значения: Следуйте инструкциям на нашей странице One Shot With SparseML, чтобы получить пошаговое руководство по выполнению однократного квантования больших языковых моделей. Для получения дополнительной поддержки и обсуждения этих моделей и искусственного интеллекта в целом присоединяйтесь к сообществу Slack Neural Magic.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: RedHatAI
Теги: onnx, llama, deepsparse
Лайков: 9 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
