Вы можете использовать HuggingfaceHub`, чтобы загрузить этот репозиторий. Это можно сделать как с помощью сценариев Python, так и с помощью командной строки. Примеры Python см. в документации HuggingFace Hub. Параметр —cache-dir необходим только в том случае, если в вашем каталоге кэша по умолчанию (~/.cache) недостаточно места на диске для размещения всего репозитория. Установите путь Python к корневому каталогу репозитория (необходим для импорта необходимых модулей): Затем вы можете перейти по адресу http://localhost:7860 в своем браузере, чтобы получить доступ к интерфейсу. Репозиторий также предоставляет пример кода для запуска моделей. Поставщику выполнения среды выполнения ONNX может потребоваться создать двоичные файлы JIT для базового оборудования. Обычно двоичные файлы являются кэшем и будут загружаться непосредственно при последующих запусках, чтобы уменьшить накладные расходы. Ваше устройство может не поддерживать встроенные математические вычисления FP16, поэтому во время выполнения веса будут приведены к FP32. Использование версии модели FP32 позволит избежать накладных расходов на приведение. Рекомендуется размещать входы/выходы на целевом устройстве, чтобы избежать дорогостоящего копирования данных. Подробную информацию см. в следующей документации: Вы можете выполнить выборку температуры и Top-P с помощью предоставленного примера…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: alpindale
Теги: onnx, text generation, en
Лайков: 8 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
