Специализированные и расширенные кванты UNCENSORED/HERETIC GGUF для новой модели GLM-4.7-Flash, 30B-A3B MOE, смешанной модели экспертов. Эту модель можно запускать на графическом процессоре и/или процессоре благодаря активации 4 экспертов (активно около 2B параметров). Удаление цензуры от Heretic (особое спасибо «Олафангенсану»), по-видимому, в некоторых случаях уменьшило размер блоков мышления и/или «сфокусировало» модель еще больше. При этом я предлагаю минимальный контекст 8–16 тыс., поскольку окончательные результаты (постобдумывание) могут быть длинными и подробными, и в ряде случаев наблюдалась «полировка» окончательного результата один или несколько раз В разделе вывода. https://huggingface.co/DavidAU/GLM-4.7-Flash-Uncensored-Heretic-NEO-CODE-Imatrix-MAX-GGUF Кванты и иматрицы рассчитаны с использованием последней версии LLAMACPP (фиксация: 7789, 21 января 2026 г.), которая содержит конкретные исправления для этой модели. Кванты до этой фиксации (а также генерация Imatrix) выполнялись плохо (требуются повторное квантование и повторная генерация Imatrix). Также обратите внимание, что существуют некоторые проблемы с Flash Attn и низкой скоростью генерации токенов (поскольку в некоторых случаях Flash выгружается на ЦП). Отключите Flash Attn до тех пор, пока эта проблема не будет решена или не пройдет через «конвейер llamacpp/ai». Специализированные кванты…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат Генерация кода
Задача: Генерация текста
Автор: DavidAU
Теги: gguf, GLM 4.7 Flash, thinking, reasoning, NEO Imatrix, MAX Quants, 16 bit precision output tensor, heretic
Лайков: 273 | Загрузок: 123,499
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
