Специализированные и расширенные кванты GGUF для новой модели GLM-4.7-Flash, 30B-A3B MOE, смешанной экспертной модели. Эту модель можно запускать на графическом процессоре и/или процессоре благодаря активации 4 экспертов (активно около 2B параметров). При этом я предлагаю минимальный контекст 8–16 тыс., поскольку окончательные результаты (постобдумывание) могут быть длинными и подробными, и в ряде случаев наблюдалась «полировка» окончательного результата один или несколько раз В разделе вывода. Кванты и иматрицы вычисляются с использованием последней версии LLAMACPP (фиксация: 7789, 21 января 2026 г.), которая содержит специальные исправления для этой модели. Кванты до этой фиксации (а также генерация Imatrix) выполнялись плохо (требуются повторное квантование и повторная генерация Imatrix). Также обратите внимание, что существуют некоторые проблемы с Flash Attn и низкой скоростью генерации токенов (поскольку в некоторых случаях Flash выгружается на ЦП). Отключите Flash Attn до тех пор, пока эта проблема не будет решена или не пройдет через «конвейер llamacpp/ai». https://huggingface.co/DavidAU/GLM-4.7-Flash-Uncensored-Heretic-NEO-CODE-Imatrix-MAX-GGUF Специализированные кванты (IQ4NL, Q51, Q41, Q80) точно сбалансированы для решения конкретных проблем тензора на всех уровнях, требующих определенного типа кванта. Imatrix — это наборы данных NEO и Code от DavidAU —…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат Генерация кода
Задача: Генерация текста
Автор: DavidAU
Теги: gguf, GLM 4.7 Flash, thinking, reasoning, NEO Imatrix, MAX Quants, 16 bit precision output tensor, en
Лайков: 8 | Загрузок: 541
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
