yuyijiong/LongAlpaca-7b-32k-chinese - Каталог нейросетей
Генерация текста

yuyijiong/LongAlpaca-7b-32k-chinese

Добавлено:

LongAlpaca使用LongLora训练技术,通过对 llama2-chat 进行位置插值后,再使用少量长文本数据进行指令微调,展现出了优秀的长文本对话能力。 LongAlpaca-7b-chinese 和 LongAlpaca 使用类似的训练方法:先使用线性位置插值,然后通过少量长文本数据的微调,使其获得优秀的长文本对话能力。 使用的中文数据集与LongAlpaca较为类似,但增加了多文档问答的数据。 此模型由Atom-7b-chat,通过线性位置插值,将文本长度从4k扩展到32k,然后经过lora微调得到。目前可以完成上万字的多文档检索、论文总结等任务,已经能满足绝大部分需要,而短对话能力几乎没有下降。 由于指令微调数据的任务类型并不是很多,在面对比较复杂的任务时,输出结果的质量仍不能保证。目前中文指令微调数据集多样性还不够,指令微调后的模型有一些过拟合的问题,将在未来版本中改善。 如果使用中遇到问题,欢迎在后台提出discussion,帮助我们改进模型。 此模型与英文版LongAlpaca一样,支持streaming-LLM,

Модальности:
Генерация текста


Задача: Генерация текста
Автор: yuyijiong
Теги: llama, zh, en, text-generation-inference, endpoints_compatible
Лайков: 2  |  Загрузок: 21

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.