Эта модель была заменена более качественной версией Kimi-K2.6-Q3.5-INF, доступной здесь. См. Kimi-K2 Dynamic MLX в действии — https://youtu.be/-zfUvA2CDqE Динамический квант q3.985bit обычно достигает 1,243 недоумения в нашем тестировании, приближаясь к недоумению q4 (1,168), чем недоумению q3 (1,900). Работает на одном M3 Ultra 512 ГБ ОЗУ с использованием приложения Inferencer. Требуется расширение лимита VRAM как минимум до ~ 500 000 МБ. Для большего контекстного окна в команде ограничения VRAM ниже используется значение 507 000. sudo sysctl iogpu.wiredlimitmb=507000 Ожидайте ~20 токенов/с. Квантуется с помощью модифицированной версии MLX 0.26 * Для получения более подробной информации см. демонстрационное видео или посетите Kimi K2. Мы не являемся создателем, создателем или владельцем какой-либо из перечисленных моделей. Каждая модель создана и предоставлена третьими лицами. Модели не всегда могут быть точными или контекстуально подходящими. Вы несете ответственность за проверку информации перед принятием важных решений. Мы не несем ответственности за любой ущерб, убытки или проблемы, возникающие в результате его использования, включая потерю данных или неточности в контенте, созданном ИИ.
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: inferencerlabs
Теги: mlx
Лайков: 10 | Загрузок: 223
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
