— Зия-LLaMA-13B-v1 — Зия-LLaMA-7B-Награда — Зия-LLaMA-13B-Pretrain-v1 — Зия-BLIP2-14B-Visual-v1 Зия2-13B-Base Токены 650B, LLaMa2, 130 бит, 数大规模预训练模型, 针对中文分词优化, 并完成了中英文. Ziya2-13B-Base представляет собой крупномасштабную предварительно обученную модель на основе LLaMA2 с 13 миллиардами параметров. Мы оптимизируем LLaMAtokenizer на китайском языке и постепенно обучаем 650 миллиардов токенов данных на основе модели LLaMa2-13B, что значительно улучшило понимание и способность генерации на китайском языке. Meta выпускает версию 7 версии 2023 года и выпускает Llama2 версии 1.4 версии To. ken数据，Llama2预训练的Token达到了2万亿，并在各个榜单中明显超过LLaMA1。 Meta выпустила серию крупных моделей Llama2 в июле 2023 года, количество предварительно обученных токенов достигло 200 миллиардов по сравнению со 140 миллиардами токенов Llama1, что значительно превосходит Llama1 в различных рейтингах. Зия2-13Б-База沿用了Зия-LLaMA-13Б高效的中文编解码方式,但采取了更优化的初始化算法使得初始训练l oss更低。同时，我们对Fengshen-PT继续训练框架进行了优化，效率方面，整合了FlashAttention2、Apex Норма RMS для процессоров Ziya-LLaMA-13B и 38% (163 терафлопс/на графический процессор/на сек)。稳定性方面，我们采取BF16进行训练, 修复了底层分布式框架的bug,确保模型能够持续稳定训练,解决了Ziya-LLaMA-13B遇到的训练后期不稳定的问题，并在7.25号进行了直播，最终完成了全部数据的继续训练。我们也发现，模型效果还有进一步提升的趋势, 后续也会对Ziya2-13B-Base进行继续优化。 Ziya2-13B-Base сохранил эффективную китайскую кодировку и…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: IDEA-CCNL
Теги: llama, transformer, 封神榜, en, zh, cn, text-generation-inference, endpoints_compatible
Лайков: 15 | Загрузок: 860
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
