moonshotai/Kimi-K2-Instruct - Каталог нейросетей
Генерация текста

moonshotai/Kimi-K2-Instruct

Добавлено:
moonshotai/Kimi-K2-Instruct

📰  Технический блог     |     📄  Бумага — теперь поддерживаются сообщения с полем имени. Мы также перенесли шаблон чата в отдельный файл для удобства просмотра. — Мы дополнительно модифицировали наш шаблон чата, чтобы повысить его надежность. Системное приглашение по умолчанию также было обновлено. — Мы обновили реализацию нашего токенизатора. Теперь специальные токены, такие как [EOS], могут быть закодированы в их идентификаторы токенов. — Мы исправили ошибку в шаблоне чата, которая нарушала вызов многооборотных инструментов. Kimi K2 — это современная языковая модель смешанного типа экспертов (MoE) с 32 миллиардами активированных параметров и 1 триллионом общих параметров. Обученный с помощью оптимизатора Muon, Kimi K2 достигает исключительной производительности при выполнении передовых задач по знанию, рассуждению и кодированию, будучи при этом тщательно оптимизированным для агентских возможностей. — Масштабное обучение: предварительно обучена модель MoE с параметром 1T на токенах 15,5T с нулевой нестабильностью обучения. — Оптимизатор MuonClip: мы применяем оптимизатор Muon в беспрецедентных масштабах и разрабатываем новые методы оптимизации для устранения нестабильностей при масштабировании. — Агентический интеллект: специально разработан для использования инструментов, рассуждений и автономного…

Модальности:
Генерация текста

Области применения:
Диалог / чат Следование инструкциям


Задача: Генерация текста
Автор: moonshotai
Теги: kimi_k2, conversational, custom_code, eval-results, endpoints_compatible, fp8
Лайков: 2,324  |  Загрузок: 142,292

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.