实践项目，开源中文医疗通用大模型:ChatGLM-Medica l, 通过对中文医疗对话数据集CMeKG进行清洗构建了中文医学指令集,并在此基础上对ЧатGLM-6B进行指令微调，并融入知识库以解决prompt实时性、大模型回答纠正、短期微调模型等问题。 + Файл LLM: ./runXXX.py + Finetune: ./finetune、./dk/trainXXX.sh + Файл: ./finetune/savebit.py +数据处理代码:./loaddata.py、./promeddata.py + 知识库融合: ./knowledge + 相关模型权重: ./weights + +后续计划请见Todo.实践项目，开源自己微调的医疗垂直领域大语言模型:ChatGLM-Medi Cal。本项目仅用于技术研究和学术目的,并不能代替医生或其他医疗专业人士的诊断和治疗建议。 + 本项目训练数据集为开源中文医学指令集CMeKG，经清洗处理后总计160W个医疗文本对话语料。 + 本项目微调技术采用 Lora，微调 Baseline 为开源Только префиксный декодер 架构的 ChatGLM-6B。 + 本项目用 DeepSpeed、Bitsandbytes、Mixed Precision、Gradient Accumulation 等大模型训练 Trick，在三台 30G V100训练3个epoch 耗时27天，并选择1个epoch进行公开。 本项目的代码依照 Apache-2.0协议开源，由于基础模型采用了 ChatGLM，因此 ChatGLM-Medical 模型权重的使用需要遵循 Model License，具体来说: + Источник: ChatGLM-Medical用于商业、军事或任何非法目的，也不得复制、修改、合并、发布、分发、复制或创建本项目的全部或部分衍生作品。 +您不得利用本项目从事任何危害国家安全和国家统一、危害社会公共利益、侵犯人身权益的行为。 +本项目“按原样”提供,不提供任何明示或暗示的保证,包括但不限于对适销性、特定用途的适用性和非侵权性的保证。在任何情况下,作者（开发者）均不对任何索赔、损害或其他责任负责,无论是在合同诉讼、侵权行为还是其他方面。 +本项目不承担任何法律责任, 亦不对因使用相关资源和输出结果而可能产生的任何损失承担责任。 +所有问题的回答均由模型生成,模型生成受多种不确定性因素影响，不代表作者（开发者）的意见。作者强烈建议用户在获取模型生成的回答后,自己进行思考和判断,并咨询医生或其他医疗专业人士的意见, 以获得准确的诊断和医疗建议。 +…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: wgs
Теги: chatglm, feature-extraction, glm, custom_code, zh
Лайков: 22 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
