Репозиторий GitHub | Технический отчет | Присоединяйтесь к нам 👋 Свяжитесь с нами в Discord и WeChat — [2025.06.06] Вышла серия MiniCPM4! Эта модель обеспечивает максимальное повышение эффективности при сохранении оптимальной производительности в том же масштабе! Он может обеспечить более чем пятикратное ускорение генерации на типичных микросхемах конечной стороны! Вы можете найти технический отчет здесь.🔥🔥🔥 Серия MiniCPM4 — это высокоэффективные модели большого языка (LLM), разработанные специально для конечных устройств, которые достигают этой эффективности за счет систематических инноваций в четырех ключевых измерениях: архитектура модели, данные обучения, алгоритмы обучения и системы вывода. — MiniCPM4-8B: Флагман MiniCPM4 с параметрами 8B, обученный на токенах 8T. ( MiniCPM 4 — это чрезвычайно эффективная большая модель на периферии, которая подверглась эффективной оптимизации по четырем измерениям: архитектура модели, алгоритмы обучения, обучающие данные и системы вывода, что обеспечивает максимальное повышение эффективности. — 🏗️ Эффективная архитектура модели: — InfLLM v2 — Обучаемый механизм разреженного внимания: принимает обучаемую архитектуру механизма разреженного внимания, в которой каждый токен должен вычислять релевантность только с менее чем 5% токенов длиной 128 КБ. текст…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: openbmb
Теги: minicpm, conversational, custom_code, zh, en
Лайков: 283 | Загрузок: 1,102
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
