GPT-J 6B — это модель трансформера, обученная с помощью Mesh Transformer JAX Бена Ванга. «GPT-J» относится к классу модели, а «6B» представляет количество обучаемых параметров. Эта модель int8 ONNX генерируется нейронным компрессором, а модель fp32 можно экспортировать с помощью приведенной ниже команды: Затем вы можете сделать вывод на основе модели и сценария «evaluation.ipynb».
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Intel
Теги: onnx, gptj, text-generation-inference, causal-lm, int8, ONNX, PostTrainingDynamic, Intel® Neural Compressor
Лайков: 16 | Загрузок: 34
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
