PanGu-α предложен совместной технической группой, возглавляемой PCNL. Впервые он был опубликован в этом репозитории. Это первая крупномасштабная предварительно обученная китайская языковая модель с 200 миллиардами параметров, обученная на процессорах 2048 Ascend с использованием стратегии автоматического гибридного параллельного обучения. Весь процесс обучения осуществляется на вычислительной платформе «Peng Cheng Cloud Brain II» с отечественной системой глубокого обучения под названием MindSpore. Модель предварительного обучения PengCheng·PanGu-α может поддерживать многофункциональные приложения, обладает мощными возможностями обучения за несколько шагов и демонстрирует выдающуюся производительность в задачах генерации текста, таких как вопросы и ответы на знания, извлечение знаний, рассуждение о знаниях и понимание прочитанного. Этот репозиторий содержит реализацию PyTorch модели PanGu с предварительно обученными весами для 2,6 миллиардов параметров (точность FP32), преобразованными из исходной контрольной точки MindSpore. В настоящее время модель PanGu не поддерживается преобразователями, поэтому для загрузки реализации модели в этот репозиторий требуется Trustremotecode=True.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: imone
Теги: gpt_pangu, custom_code
Лайков: 19 | Загрузок: 21
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
