YuYan — это серия моделей китайского языка разного размера, разработанная лабораторией Fuxi AI, Netease.Inc. Они обучаются на большом высококачественном наборе данных китайских романов. YuYan принадлежит к тому же семейству моделей только с декодером, что и GPT2 и GPT-3. По существу, он был предварительно обучен с использованием цели моделирования причинного языка с самоконтролем. Поскольку обучающие данные в основном являются новыми, модель хорошо генерирует следующий сюжет с учетом контекста истории. По мере увеличения размера модели время вывода модели увеличивается и требуется больше вычислительных ресурсов. Поэтому мы разработали собственную систему ускорения вывода модели трансформатора, EET. Более подробную информацию можно найти в статье «Простой и эффективный преобразователь: масштабируемое решение для вывода для большой модели НЛП». Мы объединяем нашу языковую модель со структурой вывода EET, чтобы обеспечить производительность вывода промышленного уровня. Наша модель обучена на основе fairseq. В результате от этого зависят выводы и точная настройка. Для вывода мы модифицируем некоторые части исходных кодов fairseq. В основном > fairseq-0.12.2/fairseq/sequence_generator.py Мы интегрируем EET с генератором последовательностей. Мы заменяем токен eos на токен, который вряд ли будет…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: FUXI
Теги: story-generation, inference acceleration, gpt2, gpt3, zh
Лайков: 4 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
