> [!IMPORTANT] > Уведомление о наименовании (2026-04-10). Метод «HLWQ», используемый в этой модели, переименовывается в HLWQ (Hadamard-Lloyd Weight Quantization). Изменение — это только имя; алгоритм и веса в этом репозитории не изменились. > > Ребрендинг разрешает коллизию имен с несвязанным, более ранним методом квантования кэша KV, также называемым HLWQ (Han et al., arXiv:2502.02617, 2025). HLWQ обращается к квантованию веса с детерминированным вращением Уолша-Хадамара и скалярной кодовой книгой Ллойда-Макса; HLWQ Хана и др. обращается к квантованию кэша KV со случайным полярным вращением. Эти два метода технически различны. > > Существующие загрузчики, которые загружают этот репозиторий по идентификатору, продолжают работать без изменений. В будущих загрузках моделей будет использоваться имя HLWQ. > > Справочный документ для этой методики: arXiv:2603.29078 (v2 в стадии подготовки; v1 по-прежнему использует старое название). Запустите Gemma 4 31B-it от Google на потребительских графических процессорах с полным стековым сжатием HLWQ. > Примечание: WikiText-2 PPL не сообщается — Gemma 4 представляет собой мультимодальную модель инструкции > где необработанный текст PPL не имеет значения (базовый PPL BF16 = 1002). > Качество генерации отличное (см. примеры ниже). В записной книжке для логического вывода используется потоковая передача по модулям…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: caiovicentino1
Теги: gemma4, hlwq, quantized, 4-bit, kv-cache-compression, conversational, polarengine
Лайков: 4 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
