Эта модель mlx-community/Kimi-K2.7-Code-mlx-DQ3KM-q8 была преобразована в формат MLX из Moonshotai/Kimi-K2.7-Code с использованием mlx-lm версии 0.31.3. После успеха первой модели Kimi «DQ3KM», K2.5, и особенно популярного кванта K2.6, это новое обновление для Kimi-K2.7-Code! Это создано для людей, использующих один Apple Mac Studio M3 Ultra с 512 ГБ. 4-битная версия Кими К2 не подходит. Используя результаты исследований, мы стремимся получить 4-битную производительность за счет немного меньшего и более разумного квантования. Оно также не должно быть настолько большим, чтобы не оставлять памяти для полезного контекстного окна. Некоторые моменты из комментариев предыдущего кванта K-2.6: Эта модель является только текстовой, поскольку она была создана с использованием mlx-lm. Вам нужно указать —trust-remote-code. Это не то, что добавило сообщество mlx, а исходит от поставщика модели. Больше похожих квантов модели MLX для Apple Mac Studio с 512 ГБ можно найти по адресу https://huggingface.co/bibproj. Рецепт тот же, что и для модели K2.5. Оба немного отличаются от первой модели Кими «DQ3KM», которая была описана там. Чтобы квант работал лучше в условиях стресса, только экспертные тензоры квантуются в смесь 3-битных и…
Модальности:
Генерация текста
Области применения:
Диалог / чат Генерация кода
Задача: Генерация текста
Автор: mlx-community
Теги: mlx, kimi_k25, feature-extraction, conversational, custom_code, 4-bit
Лайков: 5 | Загрузок: 3,469
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
