База Байчуань-13B系列模型中的预训练版本，经过对齐后的模型可见Baichuan-13B-Chat。 Байчуань-13B是由百川智能继 Байчуань-7B 之后开发的包含 130 Тестовый тест для проверки производительности上均取得同尺寸最好的效果。本次发布包含有预训练 (База Байчуань-13B) 和对齐 (Байчуань-13B-Чат)两个版本。Baichuan-13B 有如下几个特点： 1. 更大尺寸、更多数据:Baichuan-13B 在 Baichuan-7B的基础上进一步扩大参数量到 130 亿，并且在高质量的语料上训练了 1,4 万亿 жетонов,超过LLaMA-13B 40%, 13B, 尺寸下训练数据量最多的模型。支持中英双语,使用 ALiBi位置编码，上下文窗口长度为 4096。 2.同时开源预训练和对齐模型:预训练模型是适用开发者的“基座”，而广大普通用户对有对话功能的对齐模型具有更强的需求。因此本次开源我们同时发布了对齐模型(Байчуань-13Б-Ча) t) 3. 更高效的推理:为了支持更广大用户的使用,我们本次同时开源了 int8 和 int4的量化版本,相对非量化版本在几乎没有效果损失的情况下大大降低了部署的机器资源门槛, 以部署在如Nvidia 3090 这样的消费级显卡上。 4. 开源免费可商用:Baichuan-13B不仅对学术研究完全开放,开发者也仅需邮件申请并获得官方商用许可后,即可以免费商用。 5. Baichuan-13B-Base — это предтренировочная версия серии моделей Baichuan-13B, согласованную модель можно найти в Baichuan-13B-Chat. Baichuan-13B — это коммерчески используемая крупномасштабная языковая модель с открытым исходным кодом, разработанная Baichuan Intelligence вслед за Baichuan-7B. Имея 13 миллиардов параметров, он обеспечивает лучшую производительность в стандартных китайских и английских тестах среди моделей такого размера. Этот выпуск включает в себя две версии: предтренировочную…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: baichuan-inc
Теги: baichuan, custom_code, zh, en, text-generation-inference
Лайков: 187 | Загрузок: 504
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
