— Firefly QLoRA — 基座:Yi-6B — 数据:341千中文字符（103个对话串），来自前四作中去掉了长篇描写后的内容 — Продолжительность: 60 шагов, ~9,2 эпохи — 少量的数据: LIMA: Less Is More for Выравнивание的宗旨在于,模型的生成内容的质量几乎完全由基座模型的预训练决定,微调训练只会影响生成内容的风格，而且只需要极少量但高质量的训练数据就可以达到效果。 — Yi-6B 为基座：在微调训练的早期测试阶段，我曾以 ChatGLM3-6B-Base 作为基座模型。后来决定使用Yi-6B 主要是因为它的 Llama2 架构在现今依旧是主流实现,部署选择要多得多（特别是 GGUF生态）。最终成品比较时，基于 Yi-6B 的比基于 ChatGLM3-6B-Base对文风的还原度要高一些，不过在创造力上略逊一筹。 — Firefly微调框架:他们的训练方法是为多轮对话设计的,而超长上下文正是我的训练目标。yoruno-vn数据集的对话串平均长度是现今大多问答数据集的数倍。对于未来的写作模型,我会认真研究如何制作有真正有效32k 上下文的模型。
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: nenekochan
Теги: llama, not-for-all-audiences, conversational, zh, text-generation-inference
Лайков: 5 | Загрузок: 5
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
