MiniCPM — это LLM конечного размера, разработанный ModelBest Inc. и TsinghuaNLP, имеющий всего 2,4 млрд параметров, исключая встраивания. MiniCPM-2B-128k — это длительная пробная версия MiniCPM-2B с расширением контекста. Насколько нам известно, MiniCPM-2B-128k является первым SLM с длинным контекстом (>=128 КБ) размером менее 3 КБ. По сравнению с предыдущим выпущенным MiniCPM-2B, улучшения включают в себя: — Поддержка контекста 128 КБ, достижение наилучшего результата ниже 7 КБ при комплексной оценке длинного текста InfiniteBench, но производительность падает в пределах контекста 4 КБ. — Для облегчения разработчиков сообщества модель обновила шаблон директивы {} до формата Chatml. (usern{}nassistantn) во время выравнивания, что также помогает пользователям в развертывании и использовании режима сервера, совместимого с vllm openai. — В связи с требованиями параллельного механизма удалено связывание_встраивание и расширен словарь до 127660. MiniCPM.是面壁与清华大学自然语言处理实验室共同开源的系列端侧语言大模型,主体语言模型MiniCPM-2B — 24 дюйма (2,4 Б) для быстрого запуска MiniCPM-2B-128k — MiniCPM-2B的长度扩展尝试,也是第一个 3B 以下的长文本模型。相对于之前发布的版本, 改进如下: — 128k в формате 上下文，在综合长文本评测 InfiniteBench в формате 7B 以下最佳成绩, 但在 4k以内性能有下降 — 为方便社区开发者使用，该模型在对齐时将 {} 指令模板更新为了chatml格式（usern{}nassistantn）,这也有助于用户使用 сервер, совместимый с vllm openai 模式部署和使用。 -…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: openbmb
Теги: MiniCPM, ModelBest, THUNLP, conversational, custom_code, zh, en
Лайков: 43 | Загрузок: 39
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
