基于SparkleLLM, GLM4, Lora, 训练的角色扮演模型, 目前还在持续的迭代中，训练数据主要基于优质的RolePlay数据和沐雪数据集。实验发现,对于大模型微调,数据的质量远比数据的数量要重要,我决定参考Сэйкаиджу /RWKV-x060-World-3B-v2-nsfw.roleplay 一份数据集сексуальная девушка 多轮对话数据 基于сексуальная девушка构建的多轮对话的指令数据集,经过简单的人工清洗和重构,只有пользователь的第一个query才有instruction,一共6条,经过人工测试和清洗nsfw QA 简单的QA问答,通过GLM4将Maxx0/sexting-nsfw-adultconten翻译为中文,经过人工清洗和过滤后一共有72条故事生成基于firefly数据集构建一个故事生成子数据集,StoryGeneration,Composition,一共100条,经过人工过滤和清洗Открытый контроль качества в формате Firefly, в формате 80, в формате mini-COIG.基于COIG和BelleGroup构建的小型数据集(1K数据),增强模型的逻辑表达能力 Beautiful Chinese让模型具有口语化的表达能力, 1000+ ролевых игр 基于Sharegpt Ролевая игра, ролевая игра, игра, игра, игра, игра, игра, игра, игра, 4000+, игра, Sparkle. Sparkle特调语料,让模型对Sparkle这个角色映像更加深刻, 该部分构建成指令数据集的形式, 一共2000+数据怎么说呢,非常安全就是了,当然如果你把system_pr ompt中的»花火不知道哦»去掉就不会出现拒绝回复的现象。 !изображение
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: SystemCSer
Теги: peft, chatglm, code, conversational, custom_code, zh
Лайков: 4 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
