通义金融-14B(Tongyi-Finance-14B)是针对对金融行业推出的大语言模型,基于通义千问基础模型进行行业语料增量学习,强化金融领域知识和场景应用能力,覆盖金融知识问答、文本分类、信息抽取、文本创作、阅读理解、逻辑推理、多模态、Coding等能力象限。同时,在Tongyi-Finance-14B的基础上,我们使用对齐机制打造了基于大语言模型的AI助手Tongyi-Finance-14B-Chat。本仓库为Tongyi-Finance-14B-Chat的Int4量化模型的仓库。 python 3.8及以上版本 pytorch 1.12及以上版本,推荐2.0及以上版本 * 建议使用CUDA 11.4及以上(GPU用户、flash-attention用户等需考虑此选项) 请确保满足上述要求,再执行以下pip命令安装依赖库 在位置编码、FFN激活函数和normalization的实现方式上,我们也采用了目前最流行的做法, 即RoPE相对位置编码、SwiGLU激活函数、RMSNorm(可选安装flash-attention加速)。 在分词器
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: jxy
Теги: qwen, custom_code, 4-bit, gptq
Лайков: 2 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.