ZhiLu是一个基于中文Alpaca2-13B进行二次训练的金融大模型,我们使用大量中英文语料进行增量预训练,同时使用高质量指令数据进行对齐。 ZhiLu使用LoRA进行高效训练(含emb/lm-head),使用FlashAttention-2技术进行加速训练,公布了Full Model(本仓库)和LoRA模块
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: SYSU-MUCFC-FinTech-Research-Center
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.