由于目前的LLama2-chat模型很难约束其以中文进行问题回复，因此该模型旨在提供一个能以中文进行问答的LLama2-chat 13B 模型供大家研究使用。 该模型使用LLama2-chat 13B 作为基底模型, встраивание 和 LM head的Lora训练方式训练。模型已完成参数合并，可直接使用。也可以手动将sftloramodel同Llama2-chat 13B进行合并。 Поскольку модель чата LLama2 изо всех сил пытается ограничить свои ответы китайским языком при запросе китайских вопросов, основная цель этой модели состоит в том, чтобы предоставить модель чата LLama2 13B, которая может участвовать в взаимодействии вопросов и ответов на китайском языке. Модель использует LLama2-chat 13B в качестве базовой модели и обучается с использованием подхода Lora с внедрением и головкой LM. Модель прошла слияние параметров Lora и теперь готова к прямому использованию. Также можно вручную объединить ./sftloramodel с моделью Llama2-chat 13B, чтобы получить объединенную модель. Данные обучения взяты из проекта BELLE, который состоит из 500 000 выборок SFT. 1. 训练框架:该模型使用了修改过的Chinese-LLaMA-Alpaca项目进行训练。 2. Токенизатор:该模型使用了Chinese-Alpaca-Plus模型的tokenizer.model。这是因为LLama2本身的token izer.model в формате LLama1, который может быть установлен в формате C. Китайский токенизатор LLaMa项目的而不会产生如何错位问题。 3. Изменение размера: изменение размера встраивание，多出来的встраивание等于随即初始化，因此训练前期deepspeed及其容易因»ПЕРЕПОЛНЕНИЕ»而开始уменьшить масштаб потерь。频繁reduce…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: RicardoLee
Теги: llama, llama2, llama2-chat, llama2-chat-13B, zh, en, text-generation-inference, endpoints_compatible
Лайков: 33 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
