— Зия-LLaMA-13B-v1.1 — Зия-LLaMA-13B-v1 — Зия-LLaMA-7B-Награда — Зия-LLaMA-13B-Pretrain-v1 — Зия-BLIP2-14B-Visual-v1 Модель LlaMa, 130 дюймов, модель V1, модель LlaMa, модель 130 дюймов, модель V1.预训练模型,具备翻译,编程,文本分类,信息抽取,摘要,文案生成, 常识问答和数学计算等能力。目前姜子牙通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。 Ziya-LLaMA-13B-v1 — это крупномасштабная предварительно обученная модель на основе LLaMA с 13 миллиардами параметров. Он способен выполнять такие задачи, как перевод, программирование, классификация текста, извлечение информации, обобщение, копирайтинг, вопросы и ответы на основе здравого смысла и математические расчеты. Зия-LLaMA-13B-v1 прошел три этапа обучения: крупномасштабное непрерывное предварительное обучение (PT), многозадачную контролируемую точную настройку (SFT) и обучение с обратной связью с человеком (RM, PPO). 原始数据包含英文和中文,其中英文数据来自openwebtext、Books、Wikipedia和Code，中文数据来自清洗后的悟道数据集、自建的中文数据集。在对原始数据进行去重、模型打分、数据分桶、规则过滤、敏感主题过滤和数据评估后,最终得到125B жетоны 的有效数据。为了解决LLaMA原生分词对中文编解码效率低下的问题，我们在LL aMA词表的基础上增加了7k+个常见中文字,通过和LLaMA原生的词表去重，最终得到一个39410大小的词表，并通过复用Transformers里LlamaTokenizer来实现了这一效果。 Доступные токены 160 ГБ, A100, 40 ГБ, токены 2,6 млн, процессор FP. 16 терафлопс на GPU, 118 терафлопс на каждый графический процессор во-вторых, 8 токенов LLaMA-13B, 8 токенов 110B.训练期间,虽然遇到了机器宕机、底层框架ошибка、потеря…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: IDEA-CCNL
Теги: llama, en, zh, text-generation-inference
Лайков: 276 | Загрузок: 833
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
