📰 Технический блог | 📄 Бумага — теперь поддерживаются сообщения с полем имени. Мы также перенесли шаблон чата в отдельный файл для удобства просмотра. — Мы дополнительно модифицировали наш шаблон чата, чтобы повысить его надежность. Системное приглашение по умолчанию также было обновлено. — Мы обновили реализацию нашего токенизатора. Теперь специальные токены, такие как [EOS], могут быть закодированы в их идентификаторы токенов. — Мы исправили ошибку в шаблоне чата, которая нарушала вызов многооборотных инструментов. Kimi K2 — это современная языковая модель смешанного типа экспертов (MoE) с 32 миллиардами активированных параметров и 1 триллионом общих параметров. Обученный с помощью оптимизатора Muon, Kimi K2 достигает исключительной производительности при выполнении передовых задач по знанию, рассуждению и кодированию, будучи при этом тщательно оптимизированным для агентских возможностей. — Масштабное обучение: предварительно обучена модель MoE с параметром 1T на токенах 15,5T с нулевой нестабильностью обучения. — Оптимизатор MuonClip: мы применяем оптимизатор Muon в беспрецедентных масштабах и разрабатываем новые методы оптимизации для устранения нестабильностей при масштабировании. — Агентический интеллект: специально разработан для использования инструментов, рассуждений и автономного…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: moonshotai
Теги: kimi_k2, conversational, custom_code, eval-results, endpoints_compatible, fp8
Лайков: 2,324 | Загрузок: 142,292
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.