Ориентирован на решение задач NLG, крупнейшего на данный момент китайского GPT2. 为了可以获得一个强大的单向语言模型,我们采用GPT模型结构, 并且应用于中文语料上。具体地, 这个模型拥有30 层解Модель GPT2-XL 35 дюймов, модель GPT2-XL. Компания NVIDIA выпустила процессор 100G, процессор 32 дюймов. Чтобы получить надежную однонаправленную языковую модель, мы принимаем структуру модели GPT и применяем ее к китайскому корпусу. В частности, эта модель имеет 30 слоев декодера и 3,5 миллиарда параметров, что больше, чем у оригинального GPT2-XL. Мы предварительно обучаем его на 100 ГБ китайского корпуса, который потребляет 32 графических процессора NVIDIA A100 в течение примерно 28 часов. Насколько нам известно, это самая крупная китайская модель GPT, доступная в настоящее время. Если вы используете ресурс для своей работы, пожалуйста, цитируйте нашу статью:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: IDEA-CCNL
Теги: gpt2, zh, text-generation-inference, endpoints_compatible
Лайков: 15 | Загрузок: 93
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
