Эта модель mlx-community/Kimi-K2-Instruct-0905-mlx-DQ3KM была конвертирована в формат MLX из Moonshotai/Kimi-K2-Instruct-0905 с использованием mlx-lm версии 0.26.3. Это создано для людей, использующих один Apple Mac Studio M3 Ultra с 512 ГБ. 4-битная версия Кими К2 не подходит. Используя результаты исследований, мы стремимся получить 4-битную производительность за счет немного меньшего и более разумного квантования. Оно также не должно быть настолько большим, чтобы не оставлять памяти для полезного контекстного окна. Вы можете найти более похожие кванты модели MLX для Apple Mac Studio с 512 ГБ по адресу https://huggingface.co/bibproj. В файле Convert.py mlx-lm в вашей системе (вы можете увидеть исходный код здесь) замените код внутри def mixquantpredicate() чем-то вроде. Если вы хотите выжать больше из своего кванта и вам не нужно использовать большее контекстное окно, вы можете изменить последнюю часть приведенного выше кода на
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: mlx-community
Теги: mlx, kimi_k2, conversational, custom_code, 4-bit
Лайков: 12 | Загрузок: 1,253
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
