lcw99/llama-3-8b-it-ko-chang

YeungNLP/firefly-bloom-2b6

项目地址: Светлячок (流萤): 中文对话式大语言模型,如果您觉得此模型对您有帮助，请like此模型并在Github项目中star我们。 !firefly_logo Firefly（流萤) Инструкции Настройка) ZeRO、张量并行等技术,有效降低显存消耗和提高训练效率。在训练中,我们使用了更小的模型参数量,以及更少的计算资源。流萤（萤火虫的别称）是中华传统文化的一个符号，虽说腐草为萤,带有悲悯意味,但萤火虽小,也能凭借其淡淡荧光,照亮夜空。本项目的名称取自杜牧的《秋夕》:银烛秋光冷画屏, 轻罗小扇扑流萤。也希望本项目能够像流萤一般发出淡淡微光, 为中文NLP开源社区尽绵薄之力,添砖加瓦。主要工作如下: — 数据集:Поезд-светлячок-1,1М ，一份高质量的包含1.1M中文多任务指令微调数据集,包含23种常见的中文NLP任务的指令数据。对于每个任务,由人工书写若干指令模板,保证数据的高质量与丰富度。 — 模型裁剪:LLMPruner:大语言模型裁剪工具，使用词表裁剪技术对多语种大语言模型进行权重裁剪,保留预训练知识的前提下,有效减少模型参数量,提高训练效率,并分享裁剪后的多种参数规模的Bloom模型权重. — 权重分享:在bloom-1b4-zh...