第一个开源的基于QLoRA的33B中文大语言模型 первый китайский LLM на базе QLoRA 33B с полностью открытым исходным кодом思考逻辑**:本工作主要为了验证QLoRA训练方法的有效性,因此选择了基于QLoRA的Guanaco 33B точная настройка 训练, 这个训练更多的是增强模型的中文能力。Предположим,логическое рассуждение和Знание 能力已经足够。使用Chinese-Vicuna项目开放的训练数据集guanacobellemerge_v1.0进行finetune训练。 思考逻辑：按照QLoRA Приложение B.4和Таблица 9中的Grid Поиск по запросу: Тонкая настройка QLoRA, обучение Пример: 10 000 шагов, рентабельность инвестиций (ROI) ize。因此我们希望选择一个不小于10000 шагов的数据集。Belle 10 м. emerverv1.0, который может быть использован только в случае необходимости.感谢**: Китайско-Викунья项目, Belle项目, GuanacoDataset的贡献。 基于成本ROI平衡的考虑,没有做太多的grid поиск，基本的思路是follow QLoRA paper 的结论，因为QLoRA做了相对比较详尽的超参Поиск по сетке: Размер пакета: 16 (QLoRA Приложение B.4 и Таблица 9) Макс. количество шагов: 10 000 (приложение B.4 QLoRA, таблица 9). частота: 1e-4 (Приложение B.4 QLoRA и Таблица 9) LoRA r=64, альфа=16 (Приложение B.2 QLoRA) sourcemaxlen=512, targetmax_len=512, 需要保证大部分的training образец没有truncate,能完整的把信息训练到模型中, 根据脚本中的估计, 512大概可以覆盖大部分的样本长度。 1. Производитель Anima, модель Anima 33B, 80 ГБ, H100, 40 ГБ. A100 может быть загружен в файл: 注:可以修改runfinetunerainingbasedonAnima.sh中的—dataset和—datasetformat参数使用其他训练数据dataset.由于使用Ускорение обнимания лица，天然支持多卡训练。…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: lyogavin
Теги: conversational, generation, qlora, zh
Лайков: 39 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
