YuYan — это серия моделей китайского языка с различным размером, разработанная Fuxi AI lab, Netease.Inc. Они обучаются на большом китайском новом наборе данных высокого качества. YuYan относится к тому же семейству моделей декодеров, что и GPT2 и GPT-3. Таким образом, он был предварительно обучен с использованием самоконтролируемой каузальной цели моделирования языка. Поскольку данные обучения в основном являются романом, модель хороша в создании следующего сюжета с учетом контекста истории. По мере увеличения размера модели время вывода модели увеличивается, и требуется больше вычислительных ресурсов. Поэтому мы разработали нашу собственную схему ускорения вывода модели трансформатора, EET. Более подробная информация приведена в книге Easy and Efficient Transformer: Scalable Inference Solution For Large NLP Model (Простой и эффективный трансформатор: масштабируемое решение Мы объединяем нашу языковую модель с инфраструктурой логического вывода EET, чтобы обеспечить производительность логического вывода промышленного уровня. Наша модель обучена на основе fairseq. В результате от него зависят вывод и тонкая настройка. Для логического вывода мы модифицируем некоторые части исходных кодов fairseq. В основном > fairseq-0.12.2/fairseq/sequence_generator.py Мы интегрируем EET с генератором последовательности. Мы заменяем токен eos на токен, который вряд ли будет…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: FUXI
Теги: story-generation, inference acceleration, gpt2, gpt3, zh
Лайков: 3 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
