Эта модель mlx-community/GLM-5.1-DQ4plus-q8 была преобразована в формат MLX из zai-org/GLM-5.1 с использованием mlx-lm версии 0.31.2. Это создано для людей, использующих один Apple Mac Studio M3 Ultra с 512 ГБ. 4-битная версия GLM-5.1 подходит удобно. Но мы можем добиться большего. Используя результаты исследований, мы стремимся получить лучшие результаты за счет более масштабного и разумного квантования. Оно также не должно быть настолько большим, чтобы не оставлять памяти для полезного контекстного окна. Вы можете найти более похожие кванты модели MLX для Apple Mac Studio с 512 ГБ по адресу https://huggingface.co/bibproj. На этот раз рецепт немного отличается от рецепта обычного DQ3KM. Чтобы квант работал лучше в стрессовых условиях, только экспертные тензоры вверх и ворота квантуются до 4-битных, а эксперт вниз — до смеси 5-битных и 6-битных. Все остальные тензоры остаются 8-битными. Можно сказать, что у этого кванта есть 8-битный «мозг» и 4-битные/5-битные/6-битные эксперты. В файле Convert.py mlx-lm в вашей системе (исходный код можно увидеть здесь) замените код внутри def mixquantpredicate() чем-то вроде
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: mlx-community
Теги: mlx, glm_moe_dsa, conversational, 4-bit
Лайков: 6 | Загрузок: 1,550
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
