Эта модель была заменена более качественной версией Kimi-K2.6-Q3.5-INF, доступной здесь — Одиночный вывод ~ 26,82 токенов/с при 1000 токенов — Пакетный вывод ~ 39 общих токенов/с для трех выводов — Использование памяти: ~ 440 ГиБ q3.6-битный квант обычно достигает 1,59375 недоумения в нашем тесте кодирования — Недоумение: измеряет достоверность прогнозирования базовых токенов (чем ниже, тем лучше). — Точность токена: процент правильно сгенерированных базовых токенов. — Пропущенная дивергенция: измеряет серьезность промахов; насколько токен был пропущен Мы не являемся создателем, создателем или владельцем какой-либо указанной модели. Каждая модель создана и предоставлена третьими лицами. Модели не всегда могут быть точными или контекстуально подходящими. Вы несете ответственность за проверку информации перед принятием важных решений. Мы не несем ответственности за любой ущерб, убытки или проблемы, возникающие в результате его использования, включая потерю данных или неточности в контенте, созданном ИИ.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: inferencerlabs
Теги: mlx, kimi_k2, quantized, conversational, custom_code, en, 4-bit
Лайков: 15 | Загрузок: 5,835
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
