🤗 Hugging Face • 🏔 MindSpore️ • 🦉 github️ • 🐾 gitee️ • 💬 WeChat — 模型介绍 — 数据开源 — 效果评测 — 模型推理和部署 -模型微调 — 模型量化 — 国产GPU适配 — 声明、协议、引用 — 2024.1月底开源12B版本模型（待开放） — 2024.1.11 开源1T中文数据集 — 2024.1.10开源7B版本chat模型及其量化版本 -星辰语义大模型TeleChat是由中电信人工智能科技有限公司研发训练的大语言模型, 采用1.5万亿Жетоны中英文高质量语料进行训练。 -本次开源了对话模型TeleChat-7B-bot,以及其huggingfa ce может использоваться в формате int8, int4, в формате int8, int4, в формате ce. — 位置编码:我们使用 Rotary Embedding 的位置编码方法，该方法将相对位置信息依赖集成到 самообслуживание Flash-Attention v2.配合使用，将模型的训练速度提升约20%。 — 激活函数:我们使用 SwiGLU激活函数来替代GELU激活函数 ,为了减少计算量，将ffnhiddensize设置为小于原始SwiGLU中的4倍隐藏层大小。 — 层标准化: 基于 RMSNorm 的Предварительная нормализация。 TeleChat-PTD是由电信星辰大模型TeleChat 预训练语料中抽取出的的综合性大规模中文数据集。数据主要来源于网页、书籍、官方媒体等。我们使用规则+模型的方式进行了相关的过滤, 并对数据进行了相似性去重,尽可能地提取出高质量地数据。 ТелеЧат-ПТД数据集大约公开了2.7亿条数据，数据由纯中文文本构成构成,原始大小约1 TB, 压缩后480G, 189 个文件. TeleChat может использоваться для обмена сообщениями, а также для обмена сообщениями в режиме TeleChat.涵盖了包括MMLU, C-Eval, GAOKAO, AGIEval, CMMLU. GSM8K, MATH, HumanEval, CHID.评测能力包括了自然语言理解、知识、数学计算和推理、代码生成等Типы: CMMLU, AGIEval, GAOKAO, CSL, CHID, EPRST MT基于OpenCompass平台提供的评测方法进行评估,而对于对比模型, Используйте OpenCompass для OpenCompass.脚本评测MMLU与CEVAL榜单,具体方法见evaluation/文件夹。…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Tele-AI
Теги: telechat, custom_code
Лайков: 81 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
