— Зия-LLaMA-13B-v1.1 — Зия-LLaMA-7B-Награда — Зия-LLaMA-13B-Pretrain-v1 — Зия-Writing-LLaMa-13B-v1 — Ziya-BLIP2-14B-Visual-v1 — Ziya-Coding-15B-v1 — Ziya-Coding-34B-v1.0 — Зия2-13Б-База — Зия-Ридер-13Б-v1.0 Ziya2-13B-Chat 基于Ziya2-13B-Base的对话模型, 在30 万高质量的通用指令微调数据以及40 万知识增强的指令微调数据上进行了有监督训练，并且在数万条高质量人类偏好数据训练的奖励模型上进行了全参数的人类反馈强化学习训练。 Ziya2-13B-Chat — это чат-версия Ziya2-13B-Base. Ziya2-13B-Chat был настроен на 300 000 высококачественных общих данных инструкций, а также на 400 000 данных инструкций с расширенными знаниями, а затем обучен с помощью полнопараметрического RLHF по модели обратной связи, обученной на десятках тысяч высококачественных данных о предпочтениях человека. Meta выпускает версию 7 версии 2023 года и выпускает Llama2 версии 1.4 версии To. ken数据，Llama2预训练的Token达到了2万亿，并在各个榜单中明显超过LLaMA1。 Meta выпустила серию крупных моделей Llama2 в июле 2023 года, количество предварительно обученных токенов достигло 200 миллиардов по сравнению со 140 миллиардами токенов Llama1, что значительно превосходит Llama1 в различных рейтингах. Зия2-13Б-База沿用了Зия-LLaMA-13Б高效的中文编解码方式,但采取了更优化的初始化算法使得初始训练l oss更低。同时，我们对Fengshen-PT继续训练框架进行了优化，效率方面，整合了FlashAttention2、Apex Норма RMS — 38 % (163 терафлопс/на графический процессор/на…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: IDEA-CCNL
Теги: llama, transformer, 封神榜, en, zh, cn, text-generation-inference, endpoints_compatible
Лайков: 11 | Загрузок: 17
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
