目前坊间一直流传,代码数据训练能极大的提升模型的COT能力。因此,本项Лучший подарок для BELLE, 50 дюймов, SFT, для SFT, для SFT.外，还加入了code-review-instruct-critique-revision-python数据集以及部分网上爬取的逻辑推理问答数据。该模型使用Llama2-chat-7B 作为基底模型,使用带embedding和LM Head 的LoRA方式进行训练。模型已完成参数合并，可直接使用。也可以手动将sftloramodel 同Llama2-chat 7B进行合并。 Основная цель этого репозитория модели — углубиться в разветвления связанного с кодом обучения SFT навыкам разговорной речи и логическому рассуждению. В настоящее время в сообществе преобладает мнение, что модели обучения с использованием данных на основе кода могут значительно расширить возможности COT модели LLM. Таким образом, в дополнение к постоянному использованию выборочных 500 000 данных SFT из проекта BELLE для обучения SFT, это обучение модели включает в себя набор данных code-review-instruction-critique-revision-revision-python, а также подмножество данных логических рассуждений, вопросов и ответов, полученных онлайн. Модель использует Llama2-chat-7B в качестве базовой архитектуры и проходит обучение по методологии LoRA, которая включает в себя встраивание и настройку LM Head. Параметры модели объединены и готовы к прямому использованию. Альтернативно, можно также вручную объединить sftloramodel с…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: RicardoLee
Теги: llama, llama2, llama2-chat, llama2-chat-7B, code, code revise, code summarization, code comment
Лайков: 9 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
