XuanYuan-6B系列模型是采用类LLaMA架构，从零开始进行预训练的金融大模型。我们构建了大规模、多样化、高质量的训练语料对模型进行了充分预训练，使模型具备各项能力。此外我们构建了丰富、高质量的问答数据和人类偏好数据，并通过指令微调和强化学习进一步对齐模型表现和人类偏好，显著提升了模型在对话场景中的表现。各项评估显示，XuanYuan-6B不仅具备较强的通用能力，更具备强大的金融能力。更多细节请参考我们的技术报告：Report XuanYuan-6B系列模型包含基座模型XuanYuan-6B，经指令微调和强化对齐的chat模型XuanYuan-6B-Chat，以及chat模型的量化版本XuanYuan-6B-Chat-4bit和XuanYuan-6B-Chat-8bit。各个模型的链接为： 收集多个领域大量的训练预料，进行了多维度数据清洗和去重，保证数据的量级和质量 从零开始预训练，预训练中动态调整数据配比，模型基座能力较强 结合Self-QA方法构建高质量问答数据，采用混合训练方式进行监督微调 构建高质量人类偏好数据训练奖励模型并进
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Duxiaoman-DI
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 181
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
