YeungNLP/firefly-llama-13b

该模型使用llama-13b, 使用UltraChat数据集进行指令微调, 约140万多轮对话数据。仅需一张显卡即可完成训练。在榜单上,firefly-llama-13b取得了不错的效果,比vicuna-13b-1.1略高0.2分,比llama-2-13b-chat略低0.5分,比vic una-13b-v1.3略低0.6分。从评测分数来看,firefly-llama-13b与vicuna-13b、llama-2-13b-chat的水平非常接近😎。值得注意的是,vicuna-13b模型采用的是全量参数微调,对训练资源的要求十分高。而firef ly-llama-13b 采用的则是QLoRA微调,最少仅需16G显存,即可对13B的模型进行微调。

Модальности:
Генерация текста

Задача: Генерация текста
Автор: YeungNLP
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 4  |  Загрузок: 43

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.