Инструкция Baichuan-13B 为 Baichuan-13B 系列模型进行指令微调后的版本，预训练模型可见 База Baichuan-13B。 Baichuan-13B 支持int8 и int4量化,用户只需在推理代码中简单修改两行即可实现。请注意,如果是为了节省显存而进行量化,应加载原始精度模型到CPU 后再开始量化；避免在 frompretrained 时添加 devicemap=’auto’ 或者其它会导致把原始精度模型直接加载到 GPU的行为的参数。 整体模型基于Baichuan-13B, 为了获得更好的推理性能, Baichuan-13B 使用了 ALiBi Роторное встраивание相比，生成 2000 个 токенов 的平均推理速度 (токены/ов)，实测提升 31.6%: 在sharegptzh 数据集中筛选的出 13k高质量数据。 Лима 按照任务类型挑选的 2.3k 高质量中文数据集,每个任务类型的数据量在100 条左右。 > 说明：CMMLU是一个综合性的中文评估基准,专门用于评估语言模型在中文语境下的知识Модель: модель. нулевой выстрел 表格中 Байчуань-13B-Чат 的得分来自我们直接运行 CMMLU官方的评测脚本得到,其他模型的的得分来自于 CMMLU 官方的评测结果, Модель 5-shot中其他模型的得分来自于Baichuan-13B 官方的评测结果.
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: AlpachinoNLP
Теги: baichuan, custom_code, zh, en, text-generation-inference
Лайков: 6 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
