由于目前的LLama2-chat模型很难约束其以中文进行问题回复，因此该模型旨在提供一个能以中文进行问答的LLama2-chat 7B 模型。 该模型使用LLama2-chat 7B 作为基底模型,使用带встраивание 和 LM head Лора 训练方式训练。模型已完成参数合并，可直接使用。也可以手动将sftloramodel同Llama2-chat进行合并。 Поскольку модель чата LLama2 изо всех сил пытается ограничить свои ответы китайским языком при появлении вопросов на китайском языке, основная цель этой модели — предоставить модель чата LLama2 7B, которая может участвовать в взаимодействии вопросов и ответов на китайском языке. Модель использует LLama2-chat 7B в качестве базовой модели и обучается с использованием подхода обучения Lora с внедрением и головкой LM. Модель прошла слияние параметров Lora и теперь готова к прямому использованию. Также можно вручную объединить ./sftloramodel с моделью Llama2-chat 7B, чтобы получить объединенную модель. Данные обучения взяты из проекта BELLE, который состоит из 500 000 выборок SFT. 1. 训练框架:该模型使用了修改过的Chinese-LLaMA-Alpaca项目进行训练。 2. Токенизатор:该模型使用了Chinese-Alpaca-Plus模型的tokenizer.model。这是因为LLama2本身的token izer.model в формате LLama1, который может быть установлен в формате C. Китайский токенизатор LLaMa项目的而不会产生如何错位问题。 3. Изменение размера: изменение размера встраивание，多出来的встраивание等于随即初始化，因此训练前期deepspeed及其容易因»ПЕРЕПОЛНЕНИЕ»而开始уменьшить масштаб потерь。频繁reduce…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: RicardoLee
Теги: llama, llama2, zh, en, text-generation-inference, endpoints_compatible
Лайков: 39 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
