XVERSE-7B 是由深圳元象科技自主研发的支持多语言的大语言模型(Большая языковая модель),参数规模为 70亿, 主要特点如下: — 模型结构: XVERSE-7B 使用主流 Только декодер 的标准 Transformer 网络结构, 8K的上下文长度（Контекст Длина）, длинна, длина, длина, длина, длина, длина, длина, длина Токен 训练数据:构建了 2.6 万亿的高质量、多样化的数据对模型进行充分训练，包含中、英、俄、西等 40多种语言,通过精细化设置不同类型数据的采样比例,使得中英两种语言表现优异,也能兼顾其他语言效果。 — 分词：基于 BPE (кодирование пары байтов)）算法，使用上百 GB 语料训练了一个词表大小为 100,534的分词器,能够同时支持多语言,而无需额外扩展词表。 -训练框架: 自主研发多项关键技术, 包括高效算子、显存优化、并行调度策略、数据-计算-通信重叠、平台和框架协同等,让训练效率更高,模型稳定性强,在千卡集群上的峰值算力利用率可达到58,5%，位居业界前列。 XVERSE-7B — это многоязычная модель большого языка, независимо разработанная компанией Shenzhen Yuanxiang Technology. Его ключевые особенности заключаются в следующем: — Структура модели: XVERSE-7B использует основную сетевую структуру преобразователя только для декодера, поддерживает длину контекста 8 КБ, что может удовлетворить потребность в более длительных многораундовых диалогах, ответах на вопросы и обобщении знаний. Это делает модель более универсальной в сценариях применения. — Данные для обучения: модель была тщательно обучена на диверсифицированном и высококачественном наборе данных, состоящем из 2,6 триллионов токенов, включая более 40 языков, таких как китайский, английский, русский и испанский. Коэффициент выборки различных типов данных точно…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: xverse
Теги: xverse, custom_code
Лайков: 6 | Загрузок: 218
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
