RicardoLee/Llama2-base-7B-Chinese-50W-LoRA

在完成了Llama2-chat 7B Китайский 和 Llama2-chat 13B Китайский 的训练后,我非常好奇能否直接基于Llama2-base系列直接进行SFT训练。这也是本模型仓库的初衷。终于，在RicardoLee/Llama2-base-7B-Chinese-50W-pre_release，RicardoLee/Llama2-base-7B-Chinese-50W-Full2LoRA之后，我成功探索出了能稳定训练LoRA的参数，并最终完成了50W 数据的LoRA 训练。 После окончания обучения Llama2-chat 7B Chinese и Llama2-chat 13B Chinese, меня глубоко заинтриговала возможность проведения обучения SFT (Style-Fine-Tuning) непосредственно на базе серии Llama2-base. Это основная цель данного репозитория моделей. Наконец, после RicardoLee/Llama2-base-7B-Chinese-50W-pre_release，RicardoLee/Llama2-base-7B-Chinese-50W-Full2LoRA я нашел правильные гиперпараметры для стабильного обучения LoRA на основе модели Llama2-base 7B. Более подробную информацию можно найти в разделе «Информация о поезде». Данные обучения взяты из проекта BELLE, который состоит из 500 000 выборок SFT. 1. 训练框架:该模型使用了修改过的Chinese-LLaMA-Alpaca项目进行训练。 2. Токенизатор:该模型使用了Chinese-Alpaca-Plus模型的tokenizer.model。这是因为LLama2本身的token izer.model в формате LLama1, который может быть установлен в формате C. Китайский токенизатор LLaMa项目的而不会产生如何错位问题。 3. Уровень сложности: Уровень LoRA: 64, LR: 4e-4, Коэффициент разминки: 0,001. 4. 训练资源: 8卡V100。21小时 5. 训练起始的потеря: 9,1402 6.…

Модальности:
Генерация текста

Задача: Генерация текста
Автор: RicardoLee
Теги: llama, llama2, llama2-base, llama2-base-7B, zh, en, text-generation-inference, endpoints_compatible
Лайков: 10  |  Загрузок: 16

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.