GPT-J 6B — это модель трансформера, обученная с помощью Mesh Transformer JAX Бена Ванга. «GPT-J» относится к классу модели, а «6B» представляет количество обучаемых параметров. &аст; Каждый уровень состоит из одного блока прямой связи и одного блока самообслуживания. † Хотя матрица внедрения имеет размер 50 400, токенизатор GPT-2 использует только 50 257 записей. Модель состоит из 28 слоев с размером модели 4096 и прямым размером 16384. Размерность модели разделена на 16 головок, каждая из которых имеет размерность 256. Встраивание вращающегося положения (RoPE) применяется к 64 измерениям каждой головки. Модель обучается с помощью словаря токенизации 50257 с использованием того же набора BPE, что и GPT-2/GPT-3. GPT-J изучает внутреннее представление английского языка, которое можно использовать для извлечения функций, полезных для последующих задач. Однако модель лучше всего подходит для того, для чего она была предварительно обучена, а именно для генерации текста из подсказки. GPT-J-6B не предназначен для развертывания без тонкой настройки, контроля и/или модерации. Это не продукт сам по себе, и его нельзя использовать для взаимодействия с человеком. Например, модель может генерировать вредный или оскорбительный текст. Пожалуйста…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: EleutherAI
Теги: tf, jax, gptj, causal-lm, en, endpoints_compatible
Лайков: 1,523 | Загрузок: 96,869
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
