现在的大语言模型的参数往往较大,消费级电脑单纯做推理都比较慢，更别说想自己从头开始训练一个模型了。本项目的目标是整理生成式语言模型的训练流程,包括数据清洗, tokeni zer训练、模型预训练、SFT指令微调、RLHF优化等。 ЧатLM-мини-китайский为中文对话小模型,模型参数只有0.2B（算共享权重Размер 210M）, размер пакета 4 ГБ, размер файла fp16, размер пакета = 1, fp16 bf16）, float16`加载、推理最少只需要512MB размер。 -公开所所有预训练、SFT指令微调、DPO偏好优化数据集来源。 -使用HuggingfaceNLP框架, 包括transformers、accelerate、trl、peft等。 -自实现тренер，支持单机单卡、单机多卡进行预训练、SF T微调。训练过程中支持在任意位置停止，及在任意位置继续训练。 — 预训练：整合为端到端的Text-to-Text预训练,非mask掩码预测预训练。 -开源所有数据清洗（如规范化、基于minihash的文档去重等）、数据集构造、数据集加载优化等流程； — токенизатор多进程词频统计，支持sentencepiece、huggingface tokenizers的tokenizer训练； -预训练支持任意位置断点,可从断点处继续训练; -大数据集(GB级别)流式加载、支持缓冲区数据打乱,不利用内存、硬盘作为缓存，有效减少内存、磁盘占用。配置batchsize=1, maxlen=320下, 16 ГБ, 16 ГБ + 4 ГБ. SFT微调:开源SFT数据集及数据处理过程。 — 自实现trainer支持prompt指令微调,支持任意断点继续训练； — 支持тренажер Huggingface的последовательность к последовательности微调； -支持传统的低学习率，只训练decoder层的微调。 — 偏好优化:使用DPO进行全量偏好优化。 -支持使用peft lora进行偏好优化； — 支持模型合并，可将адаптер Lora合并到原始模型中。 -支持下游任务微调:finetuneexamples给出三元组信息抽取任务的微调示例,微调后的模型对话能力仍在。 07.01.2024 — 添加数据清洗过程中基于мини хэш实现的文档去重（在本项目中其实数据集的样本去重），防止模型遇到多次重复数据后,在推理时吐出训练数据。 — 添加DropDatasetDuulate类实现对大数据集的文档去重。 29.12.2023 — Загрузите AutoModelForSeq2SeqLM.frompretrained(…)`加载模型使用。 — 更新readme文档。…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: charent
Теги: onnx, t5, text2text-generation, text-generation-inference, custom_code, zh, endpoints_compatible
Лайков: 66 | Загрузок: 138
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
