— Архитектура модели: смесь экспертов (MoE) — Входные данные: текст/изображение — Выходные данные: текст — Оптимизация модели: — Квантование активации: нет — Квантование веса: INT4 — Дата выпуска: 15.07.2025 — Версия: 1.0 — Проверено на: RHOAI 2.24, RHAIIS 3.2.1 — Разработчики моделей: Red Hat (Neural Magic) — ModelCar Storage URI: oci://registry.redhat.io/rhelai1/modelcar-kimi-k2-instruct-quantized-w4a16:1.5 — проверено в RHOAI 2.24: quay.io/modh/vllm:rhoai-2.24-cuda — проверено в RHAIIS 3.2.1: http://registry.redhat.io/rhaiis/vllm-cuda-rhel9:3.2.1 — проверено на vLLM: 0.10.0. Эта модель была получена путем квантования весов Kimi-K2-Instruct до типа данных INT4. Эта оптимизация уменьшает количество бит, используемых для представления весов, с 16 (FP16/BF16) до 4, снижая требования к памяти графического процессора (примерно на 75%). Это весовое квантование также уменьшает размер диска модели примерно на 75%. Оригинальный Kimi K2 представляет собой современную языковую модель смешанного типа экспертов (MoE) с 32 миллиардами активированных параметров и 1 триллионом общих параметров. Обученный с помощью оптимизатора Muon, Кими К2 достигает исключительной производительности при выполнении передовых задач познания, рассуждения и кодирования, будучи…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: RedHatAI
Теги: deepseek_v3, kimi-k2, MOE, neuralmagic, redhat, llmcompressor, quantized, INT4
Лайков: 12 | Загрузок: 865
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
