Двунаправленный авторегрессионный говорящий из генеративного предварительно обученного трансформатора BatGPT-15B-sirius是上海交通大学与武汉大学（或武汉大学与上海交通大学, 排名不分先后）联合自然语言处理团队设计、预训练、对齐的系列大型语言模型BatGPT 中的一个开源可商用版本。 BatGPT系列模型中还包括BatGPT-30B-orion, BatGPT-70B-alhena, BatGPT-140B-менкалинан. BatGPT-15B-sirius 包含 150亿参数，在中英文 1T 语料上进行了预训练,在权威的中文和英文 эталонный тест上均取得同不错的效果。BatGPT-15B-sirius Доступные модели: 1. 支持长达文:BatGPT-15B-sirius采用旋转位置编码ROPE，在预训练阶段采用 2048序列长度，并且在指令微调阶段逐步扩展到了 32K 上下文。 2. Производитель: BatGPT-15B-sirius. Внимание к множественным запросам 3.商业友好的开放协议:BatGPT-15B-Сириус的源码以及权重不仅支持自由的学术研究使用,也允许免费开源商用,助推大模型进一步帮助人类的日常生活。 BatGPT-15B-sirius — это коммерчески доступная версия с открытым исходным кодом серии крупномасштабных языковых моделей BatGPT, разработанная, предварительно обученная и согласованная совместными группами обработки естественного языка Шанхайского университета Цзяо Тонг и Уханьского университета (или Уханьского университета и Шанхайского университета Цзяо Тонг, в произвольном порядке). В серию моделей BatGPT также входят BatGPT-30B-orion, BatGPT-70B-alhena и BatGPT-140B-menkalinan. BatGPT-15B-sirius содержит 15 миллиардов параметров и предварительно обучен на 1T китайском и английском языках…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: MYTH-Lab
Теги: batgpt, feature-extraction, BatGPT, MLP, custom_code, zh, en
Лайков: 5 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
