通义金融-14B (Tongyi-Finance-14B) 是针对对金融行业推出的大语言模型,基于通义千问基础模型进行行业语料增量学习,强化金融领域知识和场景应用能力,覆盖金融知识问答、文本分类、信息抽取、文本创作、阅读理解、逻辑推理、多模态、Coding等能力象限。同时，在Tongyi-Fina nce-14B, китайская версия, китайская версия的AI助手Tongyi-Finance-14B-Chat。本仓库为Tongyi-Finance-14B-Chat的仓库。 python 3.8 — версия pytorch 1.12 — версия 2.0 — версия pytorch * Поддержка CUDA 11.4 户等需考虑此选项)请确保满足上述要求, 再执行以下pip命令安装依赖库在位置编码、FFN激活函数和normalization的实现方式上，我们也采用了目前最流行的做法,即RoPE相对位置编码, SwiGLU激活函数, RMSNorm（可选安装flash-attention加速）。在分词器方面,相比目前主流开源模型以中英词表为主, Тонги-Фин ance-14B在Qwen-14B扩展了金融行业词汇,词表大小15万。该词表在GPT-4使用的BPE词表cl100kbase`基础上，对中文、多语言进行了优化，在对中、英、代码数据的高效编解码的基础上,对部分多语言更加友好,方便用户在不扩展词表的情况下对部分语种进行能力增强。词表对数字按单个数字位切分。调用较为高效的tiktoken分词库进行分词。如需商用,请填写问卷申请。如果想给我们的研发团队和产品团队留言,请通过邮件(tongyifinance@gmail.com)联系我们。
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: jxy
Теги: qwen, custom_code
Лайков: 4 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
