本项目为实验项目,开源代码及模型权重,预训练数据较少,如果需要效果更好的中文小模型,可以参考项目ЧатLM-мини-китайский Формат: dataset.ipynb.比如句末添加句号、繁体转简体、全角转半角、删除重复的标点符号（比如有些对话语料非常多»。。。。。»）等等。具体的数据清洗过程请参考项目ChatLM-mini-Chinese。 代码: tokeinzer.ipynb 本项目使用byte уровень, уровень BPE, уровень символов, уровень байтов, уровень символов, уровень байтов, уровень символов.训练完的tokenizer记得检查词表中是否有常见的特殊符号，如t、n等,可以尝Коды для кодирования, декодирования и кодирования字符, 通过addtokens函数添加。使用len(tokenizer)获取词表大小, t okenizer.vocabsize не может использоваться для добавления токенов. — байт уровень 训练1亿个字符至少需要32G内存（其实32G还是不太够, 会频繁触发своп), 13600k, 13600k, 1个小时。 — чар уровень 训练6.5亿个字符（刚好是中文wiki百科的数据量）至少需要32G内存，因为多次触发了swap，实际使用量远不止32G，13600K训练时长约半个小时。根据个人喜好对SFT模型微调,数据集要构造三列подсказка, выбранный和отклонено, отклонено .5-я эпоха, 检查点的模型）生成, 如果生成的отклонено и выбрано 相似度在0,9 以上, 则不要这条数据。 DPO сотрудничает с DPO, 一个模型, 一个是要训练的模型, 一个是参考的模型，在加载的时候其实是同一个模型,只不过参考模型不参与参数更新。
Модальности:
Генерация текста
Задача: Генерация текста
Автор: charent
Теги: phi, text-generation-inference, zh, endpoints_compatible
Лайков: 33 | Загрузок: 105
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
