ENOT-AutoDL/gpt-j-6B-tensorrt-int8

GPT-J 6B — это модель трансформера, обученная с помощью Mesh Transformer JAX Бена Ванга. «GPT-J» относится к классу модели, а «6B» представляет количество обучаемых параметров. Этот репозиторий содержит модель onnx GPT-J 6B, подходящую для создания движков TensorRT int8+fp32. Квантование модели выполнялось с помощью системы ENOT-AutoDL. Код для создания движков TensorRT и примеры опубликованы на github. Графический процессор RTX 4090 ЦП Intel(R) Core(TM) 11-го поколения i7-11700K TensorRT 8.5.3.1 pytorch 1.13.1+cu116 Графический процессор RTX 4090 ЦП Intel(R) Core(TM) 11-го поколения i7-11700K TensorRT 8.5.3.1 pytorch 1.13.1+cu116

Модальности:
Генерация текста

Задача: Генерация текста
Автор: ENOT-AutoDL
Теги: onnx, text-generation-inference, causal-lm, int8, tensorrt, ENOT-AutoDL, en, endpoints_compatible
Лайков: 7  |  Загрузок: 0

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.