项目地址: Светлячок (流萤): 中文对话式大语言模型,如果您觉得此模型对您有帮助，请like此模型并在Github项目中star我们。 !firefly_logo Firefly（流萤) Инструкции Настройка) ZeRO、张量并行等技术,有效降低显存消耗和提高训练效率。在训练中,我们使用了更小的模型参数量,以及更少的计算资源。流萤（萤火虫的别称）是中华传统文化的一个符号，虽说腐草为萤,带有悲悯意味,但萤火虽小,也能凭借其淡淡荧光,照亮夜空。本项目的名称取自杜牧的《秋夕》:银烛秋光冷画屏, 轻罗小扇扑流萤。也希望本项目能够像流萤一般发出淡淡微光, 为中文NLP开源社区尽绵薄之力,添砖加瓦。主要工作如下: — 数据集:Поезд-светлячок-1,1М ，一份高质量的包含1.1M中文多任务指令微调数据集,包含23种常见的中文NLP任务的指令数据。对于每个任务,由人工书写若干指令模板,保证数据的高质量与丰富度。 — 模型裁剪:LLMPruner:大语言模型裁剪工具，使用词表裁剪技术对多语种大语言模型进行权重裁剪,保留预训练知识的前提下,有效减少模型参数量,提高训练效率,并分享裁剪后的多种参数规模的Bloom模型权重. — 权重分享:在bloom-1b4-zh 和bloom-2b6-zh的基础上,进行指令微调,获得两种参数规模的中文模型:firefly-1b4和светлячок-2b6（待训练结束后分享） -训练代码:开源训练代码,支持张量并行、ZeRO、Gemini异构内存空间管理等大模型训练策略。可实现仅使用一张显卡,训练1B-2B参数量的模型（待整理后开源). Программа LLMPruner首先使目对原始的Bloom模型进行词表裁剪,仅取出常用的中英文词表, 大大降低了模型参数量, 然后再对其进行指令微调。 Блум — 是个多语言模型, 由于需要兼容多语言, 所以词表有25w之多, 在中文领域中, 大部分词表并不会被用到。我们通过删减冗余的词表,从多语言模型中提取常用的中英文词表,最终词表从25w,减少到46 145%, 18,39%, 18,39%, 在保留预训练知识的同时, 有效减少参数量, 提高训练效率.我们在 Bloom-1b4-zh 与 Bloom-2b6-zh 的基础上,进行指令微调,获得两种参数规模的中文模型:firefly-1b4和светлячок-2b6（待训练结束后分享）我们收集了23个常见的中文数据集,对于每个任务, 由人工书写若干种指令模板, 保证数据的高质量与丰富度，数据量为115万，形成训练集firefly-train-1.1M 。数据分布如下图所示: !taskdistribution…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: YeungNLP
Теги: bloom, text-generation-inference, endpoints_compatible
Лайков: 24 | Загрузок: 27
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
