Meta-Llama-3.1-8B-Instruct-ONNX-DirectML-GenAI-INT4
meta-llama/Meta-Llama-3.1-8B-Instruct quantized to ONNX GenAI INT4 with Microsoft DirectML optimization. Output is reformatted that each sentence starts at...
Метка: directml
mistral-7b-instruct-v0.3-int4-onnx-directml
This repository hosts the optimized versions of Mistral-7B-Instruct-v0.3 to accelerate inference with ONNX Runtime for DirectML. DirectML is...
DeepSeek-R1-Distill-Llama-8B-ONNX-DirectML-GenAI-INT4
deepseek-ai/DeepSeek-R1-Distill-Llama-8B, квантованный в ONNX GenAI INT4 с оптимизацией Microsoft DirectML. Вывод переформатируется, чтобы каждое предложение начиналось с новой...
Llama-3-8B-Instruct-int4-onnx-directml
Компания Meta разработала и выпустила семейство больших языковых моделей (LLM) Meta Llama 3 — коллекцию предварительно обученных и...
gemma-2-9b-it-ONNX-DirectML-GenAI-INT4
google/gemma-2-9b квантовано до ONNX GenAI INT4 с оптимизацией Microsoft DirectML. Вывод переформатируется так, что каждое предложение начинается с...