本项目旨在提供一个给Llama2-base-13B的中文对话LoRA补丁。LoRA Загрузите sftloramodel中。合并完后的模型即外层pytorch.bin。该模型使用LLama2-base 13B 作为基底模型, 使用带встраивание и головка LM的Lora训练方式训练。模型已完成参数合并，可直接使用。也可以手动将sftloramodel同Llama2-base 13B进行合并。 Поскольку модель чата LLama2 изо всех сил пытается ограничить свои ответы китайским языком при запросе китайских вопросов, основная цель этой модели состоит в том, чтобы предоставить модель чата LLama2 13B, которая может участвовать в взаимодействии вопросов и ответов на китайском языке. Целью этого проекта является предоставление патча LoRA для китайского диалога/чата для Llama2-base-13B. Параметры LoRA хранятся в файле sftloramodel. Объединенная полученная модель представляет собой файл pytorch.bin. Модель использует базу LLama2 13B в качестве базовой модели и обучается с использованием подхода Lora с встраиванием и головкой LM. Модель прошла слияние параметров Lora и теперь готова к прямому использованию. Также можно вручную объединить ./sftloramodel с моделью 13B на основе Llama2, чтобы получить объединенную модель. Данные обучения взяты из проекта BELLE, который состоит из 500 000 выборок SFT. 1. 训练框架:该模型使用了修改过的Китайский-лама-альпака项目进行训练。 2.…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: RicardoLee
Теги: llama, llama2, llama2-base, llama2-base-13B, zh, en, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 3
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
