Это квантованная версия openbmb/MiniCPM3-4B, созданная с использованием llama.cpp MiniCPM Repo | MiniCPM Paper | MiniCPM-V Repo | Присоединяйтесь к нам в Discord, и WeChat MiniCPM3-4B является 3-м поколением серии MiniCPM. Общая производительность MiniCPM3-4B превосходит Phi-3.5-mini-Instruct и GPT-3.5-Turbo-0125, что сопоставимо со многими последними моделями 7B~9B. По сравнению с MiniCPM1.0/MiniCPM2.0, MiniCPM3-4B имеет более мощный и универсальный набор навыков для более общего использования. MiniCPM3-4B поддерживает вызов функций вместе с интерпретатором кода. Рекомендации по использованию см. в разделе «Дополнительные функции». MiniCPM3-4B имеет контекстное окно 32k. Оснащенный LLMxMapReduce, MiniCPM3-4B теоретически может обрабатывать бесконечный контекст, не требуя огромного объема памяти. Benchmark Qwen2-7B-Instruct GLM-4-9B-Chat Gemma2-9B-it Llama3.1-8B-Instruct GPT-3.5-Turbo-0125 Phi-3.5-mini-Instruct (3.8B) MiniCPM3-4B English MMLU 70.5 72.4 72.6 69.4 69.2 68.4 67.2 BBH 64.9 76.3 65.2 67.8 70.3 68.6 70.2 MT-Bench 8.41 8.35 7.88 8.28 8.17 8.60 8.41 IFEVAL (Prompt Strict-Acc.) 51.0 64.5 71.9 71.5 58.8 49.4 68.4 Chinese CMMLU 80.9 71.5 59.5 55.8 54.5 46.9 73.3 CEVAL 77.2 75.6 56.7 55.2 52.8 46.1 73.6 …
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: QuantFactory
Теги: gguf, zh, en, endpoints_compatible, conversational
Лайков: 3 | Загрузок: 814
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
