Это экспериментальное квантование MXFP4_MOE модели GLM-4.7-Flash. Я создал квантование MXFP4MOE с учетом важности, которое динамически распределяет точность на основе оценок важности тензоров из иматрицы, созданной мной с помощью codetiny. Это квантование, оптимизированное для кодирования, оно немного больше, чем основная линия MXFP4_MOE, и оно работает так, что обеспечивает лучшее квантование в зависимости от важности каждого тензора. — BF16 (16 бит) для очень важных тензоров (важность >75%) — Q8_0 (8 бит) для умеренно важных тензоров (важность >60%) — MXFP4 (4 бита) для менее важных тензоров (Как я уже упоминал, это экспериментальный вариант, и до сих пор не проводилось никаких тестов, чтобы увидеть, лучше ли он, чем основная линия, но вы можете свободно опробовать его и сообщить о результатах!
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: noctrex
Теги: gguf, endpoints_compatible, imatrix, conversational
Лайков: 10 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
