onnx-community/Meta-Llama-3.1-8B-Instruct-ONNX-DirectML-GenAI-INT4

meta-llama/Meta-Llama-3.1-8B-Instruct quantized to ONNX GenAI INT4 with Microsoft DirectML optimization. Output is reformatted that each sentence starts at new line to improve readability. … vNewDecoded = tokenizerstream.decode(newtoken) if re.fullmatch(«^[x2Ex3Ax3B]$», vPreviousDecoded) and vNewDecoded.startswith(» «) and (not vNewDecoded.startswith(» *»)) : print(«n» + vNewDecoded.replace(» «, «», 1), end=», flush=True) else : print(vNewDecoded, end=», flush=True) vPreviousDecoded = vNewDecoded … INVALID LANGUAGE PAIR SPECIFIED. EXAMPLE: LANGPAIR=EN|IT USING 2 LETTER ISO OR RFC3066 LIKE ZH-CN. ALMOST ALL LANGUAGES SUPPORTED BUT SOME MAY HAVE NO CONTENT It might not be working in ONNX execution provider other than DmlExecutionProvider. The needed python scripts are included in this repository Prerequisites: 1. Install Python 3.11 from Windows Store:…

Модальности:
Генерация текста

Области применения:
Диалог / чат Следование инструкциям

Задача: Генерация текста
Автор: onnx-community
Теги: onnx, directml, windows, conversational, en, de, fr, it
Лайков: 3  |  Загрузок: 0

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.