本项目与Firefly一脉相承,专注于低资源增量预训练,既支持对Baichuan2, Qwen, InternLM等原生中文模型进行增量预训练,也可对LLaMA2、Fa lcon等英文模型进行中文词表扩充,然后进行增量预训练。我们开源了Firefly-LLaMA2-китайский模型,这是中英双语系列模型。我们以LLaM A2🦙为基座模型,对LLaMA2进行中文词表扩充，使用22 ГБ, защитная пленка, защитная пленка, защитная пленка, защитная пленка.最后使用大规模中英文多轮对话指令对模型进行训练。我们对模型进行了榜单评测和人工评测,与现有的开源工作相比,具有不错的竞争力。在Open LLM Leaderboard和CMMLU上,我们的模型超越了Linly、Yayi、FlagAlpha等模型； 在Open LLM Таблица лидеров上超越Ziya，在CMMLU上比Ziya略低0,43分。在人工测评中, 33,08%, 60,77%, 6,15%, 6,15%, Linly.我们还开源了firelfy-baichuan2-13b模型,在OpenCompa ss — CMMLU — 56,83, 8, 8, 1,57 — 1,57».更重要的是,在整个增量预训练和指令微调阶段,我们最多仅使用了4 Графический процессор V100, процессор Ziya, процессор Ziya 160. A100,Linly的32A100,Китайский-LLaMA-Альпака的48A40,我们所使用的训练资源少得多。主要工作: — 📗对LLaMA2 进行中文词表扩充,提高编解码效率。与原始LLaMA2相54,11%; 54,11%; 54,11%; — 📗使用大规模中英文语料进行增量预训练,然后进行多轮指令微调。开源7B и 13B的Base и Chat的模型权重。 — 📗 收集、整理并开源训练数据，包括22GB 中英文预训练语料，以及多轮指令数据。 — 📗开源增量预训练、指令微调等全流程代码。支持在主流的开源模型上进行增量预训练和指令微调，如Baich uan2、Baichuan、Qwen、СтажерLM、LLaMA2、LLaMA、Falcon等。 — 📗对模型进行开源榜单评测和人工评测。构建人工评测集, 包含13种评测任务, 对模型进行人工评测。 База находится в 7B, 13B — в чате, базовая версия — в LLaMA2, в чате.词表后增量预训练得到的模型, Chat模型是在Base模型的基础上进行多轮对话指令微调。为了探究基座模型对指令微调的影响,我们也微调了baichuan2-base模型,获得огонь Fly-Baichuan2-13b，具有不错的效果。更多中文微调，可查看Firefly项目。我们在CMMLU和Открытый LLM…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: YeungNLP
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 433
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
