30.12.2023: «大海捞针»测试结果2023.12.28更新:发布Qwen-7b-chat-yarn-32k,但注意,可能由于模型规模偏小，基座模型能力弱，导致7b版本显著弱于Qwen-14b-chat-yarn-32k 23.12.2023: 发布LongBench的passageretrivalen的评测结果 2023.12.16更新: 发布论文(中文版)、论文(英文版) * 14.12.2023:发布经过微调的Qwen-14b-chat-yarn-32k,微调后的模型能适应32k长度（约4万汉字）的中英问答,相较于之前的通过位置插值得到的32k 模型,几乎完全解决了多文档问答任务下召回率低（即потерян в середине 现象）的问题。 基于Qwen-14b-chat，使用“原文复述”任务进行指令微调使用 Пряжа, пряжа, пряжа, 32 тыс. штук, пряжа, пряжа *推理时, 无需特定подсказка, 即可给出高准确率的回答。 Qwen-14b-chat-yarn-32k经过微调后,在多文档问答（或检索）任务上提升非常显著, 大幅领先其他同规模的模型。 可以发现即使在50k长度下(即使训练样本不大于32k)，检索信息的准确率依然极高,证明此模型确实拥有强大的长上下文能力,极大缓解 «потерянный» посередине»问题，并且拥有极大的扩展潜力。而且此模型在推理时，不需要进行»原文复述»，只需要给出问题,并让模型直接回答问题，模型就能给出正确的答案。（相对的,claude2.1-200k需要特定的 подсказка才能正确回答）这也证明了此模型的强大能力。 使用此模型时会自动设置、，会产生предупреждение，不影响模型使用。长文本类型的任务, 尽量将长参考文本放在前面,用户的问题放在后面。同时，在问题前面最好加上«问题：» 或 «Вопрос:» *请务必安装, 否则长文本下推理速度极慢, 而且可能会报错。将Qwen模型的NTK插值方法替换为 Yarn，同时适当缩小位置插值的缩放因子s,实现了模型在更长文本长度（大于16k）下的正常对话能力。原版Qwen在16k文本长度下无法正常输出。 Используйте Dynamicntk=True *使用yuyijiong/LongData-Corpus数据,Qlora方法,数据切分为32k文本长度,对Qwen模型进行增量预训练。 *使用yuyijiong/длинные инструкции на китайском языке数据, Qlora方法, Qwen模型进行微调。 1.原文复述可能导致模型的回答过于冗长、不够简洁，后续可能会尝试改进数据。 2.…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: yuyijiong
Теги: qwen, conversational, custom_code, zh, en
Лайков: 21 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
