📰 Технический блог | 📄 Paper Link (скоро) Kimi K2 — это современная языковая модель для смешанных экспертов (MoE) с 32 миллиардами активированных параметров и 1 триллионом общих параметров. Обученный с помощью оптимизатора Muon, Kimi K2 достигает исключительной производительности при выполнении передовых задач по знанию, рассуждению и кодированию, будучи при этом тщательно оптимизированным для агентских возможностей. — Масштабное обучение: предварительно обучена модель MoE с параметром 1T на токенах 15,5T с нулевой нестабильностью обучения. — Оптимизатор MuonClip: мы применяем оптимизатор Muon в беспрецедентных масштабах и разрабатываем новые методы оптимизации для устранения нестабильностей при масштабировании. — Агентский интеллект: специально разработан для использования инструментов, рассуждений и автономного решения проблем. — Kimi-K2-Base: базовая модель, отличный старт для исследователей и строителей, которым нужен полный контроль над точной настройкой и индивидуальными решениями. — Kimi-K2-Instruct: модель после обучения, лучше всего подходящая для прямого общения, общего чата и агентского опыта. Это модель рефлексного уровня без долгих раздумий. Эталонная метрика Kimi K2 Instruct DeepSeek-V3-0324 Qwen3-235B-A22B (недумающий) Клод…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: moonshotai
Теги: kimi_k2, conversational, custom_code, endpoints_compatible, fp8
Лайков: 292 | Загрузок: 11,618
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
