ENOT-AutoDL/gpt2-tensorrt

Этот репозиторий содержит модели GPT2 onnx, совместимые с TensorRT: gpt2-xl.onnx — GPT2-XL onnx для движков fp32 или fp16 gpt2-xl-i8.onnx — GPT2-XL onnx для движков int8+fp32 Квантование моделей выполнялось с помощью среды ENOT-AutoDL. Код для создания движков TensorRT и примеры опубликованы на github. Графический процессор RTX 4090 ЦП Intel(R) Core(TM) 11-го поколения i7-11700K TensorRT 8.5.3.1 pytorch 1.13.1+cu116 Графический процессор RTX 4090 ЦП Intel(R) Core(TM) 11-го поколения i7-11700K TensorRT 8.5.3.1 pytorch 1.13.1+cu116

Модальности:
Генерация текста

Задача: Генерация текста
Автор: ENOT-AutoDL
Теги: onnx, text-generation-inference, causal-lm, int8, tensorrt, ENOT-AutoDL, en, endpoints_compatible
Лайков: 4  |  Загрузок: 0

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.