项目地址: Светлячок (流萤): 中文对话式大语言模型,如果您觉得此模型对您有帮助，请like此模型并在Github项目中star我们。 !firefly_logo Firefly（流萤) Инструкции Настройка) ZeRO、张量并行等技术,有效降低显存消耗和提高训练效率。在训练中,我们使用了更小的模型参数量,以及更少的计算资源。流萤（萤火虫的别称）是中华传统文化的一个符号，虽说腐草为萤,带有悲悯意味,但萤火虽小,也能凭借其淡淡荧光,照亮夜空。本项目的名称取自杜牧的《秋夕》:银烛秋光冷画屏, 轻罗小扇扑流萤。也希望本项目能够像流萤一般发出淡淡微光, 为中文NLP开源社区尽绵薄之力,添砖加瓦。主要工作如下: — 数据集:Поезд-светлячок-1,1М ，一份高质量的包含1.1M中文多任务指令微调数据集,包含23种常见的中文NLP任务的指令数据。对于每个任务,由人工书写若干指令模板,保证数据的高质量与丰富度。 — 模型裁剪:LLMPruner:大语言模型裁剪工具，使用词表裁剪技术对多语种大语言模型进行权重裁剪,保留预训练知识的前提下,有效减少模型参数量,提高训练效率,并分享裁剪后的多种参数规模的Bloom模型权重. — 权重分享:在bloom-1b4-zh 和bloom-2b6-zh的基础上，进行指令微调，获得两种参数规模的中文模型:firefly-1b4 和firefly-2b6 -训练代码:开源训练代码,支持张量并行、ZeRO、Gemini异构内存空间管理等大模型训练策略。可实现仅使用一张显卡,训练1B-2B参数量的模型（待整理后开源).我们将模型的最大输入设置为512, input部分不参与计算los s, target 部分的损失函数。训练的超参数设置如下表所示。经过过表裁剪后,我们的模型参数量仅为1.4B и 2.6B,参数量远远小于ChatGPT и LLaMA等上百亿上千亿的模型,甚至远远小于当前主流如Belle、Cha tGLM: 7B. — 对于事实性知识,容易产生错误的回复。 -由于未经过无害化微调,可能会产生歧视、危害、违背伦理道德的言论。 -在代码、推理上的能力仍有欠缺。基于以上模型的局限性,我们要求本项目的代码、数据、模型等仅用于学术研究,不得用于商业用途,且不得用于对社会造成危害的用途。该函数接受一个整数列表作为参数,并按照从小到大的顺序对列表进行排序。如果列表长度小于等于1, 则直接返回原始列表；否则，将中间元素作为新的pivot, 然后对其余的元素递归调用快速排序算法，直到整个列表有序为止。…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: YeungNLP
Теги: bloom, text-generation-inference, endpoints_compatible
Лайков: 19 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
