Эта версия MiniCPM3-4B была преобразована для запуска на NPU RK3588 с использованием квантования w8a8. Эта модель была оптимизирована с помощью следующего LoRA: openbmb/MiniCPM3-RAG-LoRA Практически все от этих людей: [marty1885] [https://github.com/marty1885] и happyme531 MiniCPM Repo | MiniCPM Paper | MiniCPM-V Repo | Присоединяйтесь к нам в Discord, и WeChat MiniCPM3-4B — это 3-е поколение серии MiniCPM. Общая производительность MiniCPM3-4B превосходит Phi-3.5-mini-Instruct и GPT-3.5-Turbo-0125, что сопоставимо со многими последними моделями 7B~9B. По сравнению с MiniCPM1.0/MiniCPM2.0, MiniCPM3-4B имеет более мощный и универсальный набор навыков для более общего использования. MiniCPM3-4B поддерживает вызов функций вместе с интерпретатором кода. Рекомендации по использованию см. в разделе «Дополнительные функции». MiniCPM3-4B имеет контекстное окно 32k. Оснащенный LLMxMapReduce, MiniCPM3-4B теоретически может обрабатывать бесконечный контекст, не требуя огромного объема памяти. Benchmark Qwen2-7B-Instruct GLM-4-9B-Chat Gemma2-9B-it Llama3.1-8B-Instruct GPT-3.5-Turbo-0125 Phi-3.5-mini-Instruct(3.8B) MiniCPM3-4B English MMLU 70.5 72.4 72.6 69.4 69.2 68.4 67.2 BBH 64.9 76.3 65.2 67.8 70.3 68.6 70.2 MT-Bench 8.41…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: c01zaut
Теги: minicpm3, conversational, custom_code, zh, en, endpoints_compatible
Лайков: 3 | Загрузок: 14
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
