google/gemma-2-9b квантовано до ONNX GenAI INT4 с оптимизацией Microsoft DirectML. Вывод переформатируется так, что каждое предложение начинается с новой строки, чтобы улучшить читаемость. … vNewDecoded = tokenizerstream.decode(newtoken) if re.fullmatch(«^[x2Ex3Ax3B]$», vPreviousDecoded) и vNewDecoded.startswith(» «) и (не vNewDecoded.startswith(» *»)): print(«n» + vNewDecoded.replace(» «, «», 1), end=», flash=True) else : print(vNewDecoded, end=»,lush=True) vPreviousDecoded = vNewDecoded … google/gemma-2-9b квантовано до ONNX GenAI INT4 с оптимизацией Microsoft DirectML https://onnxruntime.ai/docs/genai/howto/install.html#directml Создано с использованием файла ONNX Runtime GenAI’s builder.py https://raw.githubusercontent.com/microsoft/onnxruntime-genai/main/src/python/py/models/builder.py https://huggingface.co/meta-llama/Meta-Llama-3.1-8B-Instruct Это модель, оптимизированная для Microsoft Windows DirectML. Возможно, он не работает в поставщике выполнения ONNX, отличном от DmlExecutionProvider. Необходимые скрипты Python включены в этот репозиторий. Предварительные условия: 1. Установите Python 3.11 из Магазина Windows: https://apps.microsoft.com/search/publisher?name=Python+Software+Foundation 3. Создайте Python…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: onnx-community
Теги: onnx, directml, windows, conversational
Лайков: 5 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
