Узнайте, как запускать динамические GGUF Kimi-K2 — прочтите наше руководство! Unsloth Dynamic 2.0 обеспечивает превосходную точность и превосходит другие ведущие методы количественного анализа. 🌙 Рекомендации по использованию Kimi K2. Теперь вы можете использовать последнее обновление llama.cpp для запуска модели. — Полные подробные инструкции см. в нашем руководстве: docs.unsloth.ai/basics/kimi-k2. Для запуска небольших квантов рекомендуется иметь как минимум 128 ГБ единой оперативной памяти. С 16 ГБ видеопамяти и 256 ОЗУ ожидайте более 5 токенов в секунду. Для достижения наилучших результатов используйте любой 2-битный квант XL или выше. Установите температуру 0,6 (рекомендуется), чтобы уменьшить повторение и бессвязность. Benchmark Metric Kimi K2 Instruct DeepSeek-V3-0324 Qwen3-235B-A22B (без мышления) Claude Sonnet 4 (без расширенного мышления) Claude Opus 4 (без расширенного мышления) GPT-4.1 Gemini 2.5 Flash Preview (05-20) Задачи по кодированию LiveCodeBench v6 (24 августа – 25 мая) Pass@1 53,7 46,9 37,0 48,5 47,4 44,7 44,7 OJBench Pass@1 27,1 24,0 11,3 15,3 19,6 19,5 19,5 Проверено SWE-bench (безагентное кодирование) Одиночный патч без теста (Acc) 51,8 36,6 39,4 50,2 53,0 40,8 32,6 Проверено SWE-bench (Агентное кодирование) Одна попытка (Acc) 65,8 38,8 34,4 72,7 72,5 54,6 — Многоязычное SWE-bench (Агентное кодирование) Одиночная попытка (Acc)…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: unsloth
Теги: gguf, deepseek_v3, unsloth, custom_code, endpoints_compatible, fp8, conversational
Лайков: 223 | Загрузок: 27,911
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
