雅意大模型在百万级人工构造的高质量领域数据上进行指令微调得到,训练数据覆盖媒体宣传、舆情分析、公共安全、金融风控、城市治理等五大领域，上百种自然语言指令任务。雅意大模型从预训练初始化权重到领域模型的迭代过程中，我们逐步增强了它的中文基础能力和领域分析能力,并增加了部分插件能力。同时，经过数百名用户内测过程中持续不断的人工反馈优化,我们进一步提升了模型性能和安全性。通过雅意大模型的开源为促进中文预训练大模型开源社区的发展, 贡献自己的一份力量,通过开源,与每一位合作伙伴共建雅意大模型生态。以下是一个简单调用 yayi-7b 进行下游任务推理的示例代码,可在单张 A100/A800/3090 Графический процессор, FP16, FP16, 20 ГБ, 20 ГБ, yayi-7b进行模型微调,请参考我们的 💻Github Repo。 注意,模型训练时添加了 специальный токен作为结束符，因此上述代码 GenerationConfig 里将 eostokenid 设置为该结束符对应的 token id。 1.在涉及事实性的指令上可能会产生违背事实的错误回答。 2. 3.在一些涉及推理、代码、多轮对话等场景下模型的能力仍有待提高。基于以上模型局限性,我们要求开发者仅将我们开源的代码、数据、模型及后续用此项目生成的衍生物用于研究目的,不得用于商业用途,以及其他会对社会带来危害的用途。请谨慎鉴别和使用雅意大模型生成的内容，请勿将生成的有害内容传播至互联网。若产生不良后果，由传播者自负。本项目仅可应用于研究目的, 项目开发者不承担任何因使用本项目（包含但不限于数据、模型、代码等）导致的危害或损失。详细请参考免责声明。 Версия Apache-2.0, версия CC BY-NC 4.0, YaYi系列模型权重的使用则需要遵循 Model License。 — 本项目使用了 BigScience 的 Bloomz-7b-mt Databricks 的 тележка项目及 Huggingface Transformers 库； — 本项目分布式训练使用了 Microsoft 的 DeepSpeed 分布式训练工具及 Huggingface Transformers 文档中的 ZeRO stage 2配置文件； YaYi был точно настроен на миллионах искусственно созданных высококачественных доменных данных. Эти данные обучения охватывают пять ключевых областей: средства массовой информации…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: wenge-research
Теги: bloom, yayi, zh, en, text-generation-inference, endpoints_compatible
Лайков: 30 | Загрузок: 1,419
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
