Mini-Chinese-Phi3是一个基于phi3模型结构的小型对话模型，总参数量约0.13B,使用常见的中文语料进行预训练和微调。主要内容包括了- 数据集的整理与简单清洗 — 中文词表预训练 — 基于phi3结构的模型预训练 -基于预训练模型的指令微调(SFT), 包括了全量微调和LoRA微调 -基于指令微调模型的直接偏好优化(DPO) — 模型评测 （待做）项目中的所有训练过程均在两张3090显卡上进行,使用DeepSpeed框架和Flash Attention 2-х часовой пояс, 40-й день, SFT и DPO, 8-й день, 8-й день.在学习LLM, LLM, LLM, LLM, LLM, LLM, LLM, LLM, LLM, LLM, LLM, LLM, LLM, LLM:
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: niwz
Теги: phi3, conversational, zh, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
