MiniCPM 技术报告 Технический отчет | OmniLMM 多模态模型 Мультимодальная модель | CPM-C 千亿模型试用 ~100B Model Trial 【注意】:本仓库为minicpm-2b 在训练过程中的checkpoint (服务于研究目的）,不是最终可用的模型文件！ Шаг 10000 == 0的那些检查点。 其中 0-260000 (更准确地 261000） 步为稳定训练阶段， 260000 — 280000为退火阶段 （更准确的，261000 — 279500）， 280000之后是没有被利用的剩余退火阶段,这个剩余退火阶段学习率已经变得非常小了, 并且没有收益。 【Внимание】: Этот репозиторий содержит промежуточные контрольные точки обучения minicpm-2b для исследовательских целей, а не финальные контрольные точки, которые готовы к использованию на практике. Мы сохраняли контрольные точки каждые 500 шагов. Однако из-за эффективности загрузки мы открываем исходный код только тех, у которых шаг % 100000 == 0. Среди этих контрольных точек 0-260000 (точнее,). 261000) — стабильная тренировочная конюшня. 260000 — 280000 (точнее, 261000 — 279500) — стадия спада. После 280000 — неиспользуемые контрольные точки, где скорость обучения снижается до любого маленького значения.是面壁与清华大学自然语言处理实验室共同开源的系列端侧语言大模型,主体语言模型MiniCPM-2B — 24 доллара (2,4 млрд долларов США) — 经过 SFT 后, MiniCPM 在公开综合性评测集上, MiniCPM Мистраль-7Б (Mistral-7B), Llama2-13B, MPT-30B, Falcon-40B.等模型。 — 经过 DPO 后，MiniCPM 在当前最接近用户体感的评测集 MTBench上,MiniCPM-2B 也超越了…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: openbmb
Теги: MiniCPM, ModelBest, THUNLP, conversational, custom_code, en, zh
Лайков: 21 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
