该模型为基于Llama2 база 7B全参数SFT训练的中文模型。其目的是为了同RicardoLee/Llama2-base-7 B-Chinese-50W-LoRA项目进行对比,判断LoRA效果合全参数训练效果的差异。 Эта модель представляет собой китайскую модель чата, основанную на базе 7B Llama2, обученную с помощью полнопараметрического SFT. Его цель — облегчить сравнение с проектом RicardoLee/Llama2-base-7B-Chinese-50W-LoRA и оценить производительность между LoRA и полнопараметрическим обучением. Данные обучения взяты из проекта BELLE, который состоит из 500 000 выборок SFT. 1. Защитное устройство: защитное покрытие SFT 2. Токенизатор:该模型使用了Chinese-Alpaca-Plus模型的tokenizer.model。这是因为LLama2本身的token izer.model в формате LLama1, который может быть установлен в формате C. Китайский токенизатор LLaMa项目的而不会产生如何错位问题。 3. Параметры: LR: 2e-4, коэффициент прогрева: 0,003. 4. Размер: 8V100。67 小时 5. Размер потери: Материал 6. Размер потери: Материал 1. Структура трианинга: Эта модель использует полнопараметрическое обучение SFT. 2. Токенизатор: в этой модели используется модель tokenizer.model из модели Chinese-Alpaca-Plus. Причина такого выбора в том, что tokenizer.model в LLama2 идентична той, что используется в LLama1. В результате теоретически возможно полностью повторно использовать токенизатор из проекта Chinese-LLaMa, не сталкиваясь с какими-либо проблемами, связанными с несовпадением токенов. 3. Параметры обучения:…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: RicardoLee
Теги: llama, llama2, llama2-base, llama2-base-7B, zh, en, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
