Moonshotai/Kimi-K2.7-код оптимизирован для работы на Mac Studio M3 Ultra. — Квант смешанной точности, сочетающий в себе скорость, память и точность. — 3-битная базовая линия MoE с важными всегда активными слоями с более высокой точностью. — Вмещается в память ~460 ГБ, оставляя достаточно места для полезной модели меньшего размера. метрика | эта модель bpw | 3,578 базовой памяти | 427,579 пиковой памяти (1024/512) | 460.444 подсказки ток/с (1024) | 218,851 ± 0,208 ген ток/с (512) | 21,035 ± 0,049 растерянность | 4,462 ± 0,037 arc_challenge | 0,692 ± 0,021 хелласваг | 0,780 ± 0,019 Квантовали с помощью вилки mlx-lm. Параметры квантования MLX отличаются от параметров llama.cpp, но принципы те же: — Чувствительные уровни, такие как маршрутизация MoE, внимание и выходные внедрения, получают более высокую точность — Более толерантные уровни, такие как эксперты MoE, получают меньшую точность.
Модальности:
Генерация текста
Области применения:
Диалог / чат Генерация кода
Задача: Генерация текста
Автор: spicyneuron
Теги: mlx, kimi_k25, conversational, custom_code, en, 4-bit
Лайков: 7 | Загрузок: 4,439
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
