mpt-7b-gsm8k-pruned80-quant-ds
Paper: Sparse Finetuning for Inference Acceleration of Large Language Models Code: https://github.com/neuralmagic/deepsparse/tree/main/research/mpt This model was produced from a...
Paper: Sparse Finetuning for Inference Acceleration of Large Language Models Code: https://github.com/neuralmagic/deepsparse/tree/main/research/mpt This model was produced from a...
Модель MPT 7b, согласованная с чатом, сокращена до 50 % и квантована с использованием SparseGPT для вывода с помощью...
Этот репозиторий содержит файлы моделей для SOLAR-10.7B-Instruct-v1.0, оптимизированные для DeepSparse, среды выполнения вывода ЦП для разреженных моделей. Эта...
Этот репозиторий содержит файлы моделей для Nous Hermes 2 — Solar 10.7B, оптимизированные для DeepSparse, среды выполнения вывода...
Этот репозиторий содержит файлы моделей для Llama-2-7b-chat-hf, оптимизированные для DeepSparse, среды выполнения вывода ЦП для разреженных моделей. Эта...