caiovicentino1/Qwen3.5-9B-Claude-Opus-HLWQ-Q5 - Каталог нейросетей
Генерация текста

caiovicentino1/Qwen3.5-9B-Claude-Opus-HLWQ-Q5

Добавлено:
caiovicentino1/Qwen3.5-9B-Claude-Opus-HLWQ-Q5

> [!IMPORTANT] > Уведомление о наименовании (2026-04-10). Метод «HLWQ», используемый в этой модели, переименовывается в HLWQ (Hadamard-Lloyd Weight Quantization). Изменение — это только имя; алгоритм и веса в этом репозитории не изменились. > > Ребрендинг разрешает коллизию имен с несвязанным, более ранним методом квантования кэша KV, также называемым HLWQ (Han et al., arXiv:2502.02617, 2025). HLWQ обращается к квантованию веса с детерминированным вращением Уолша-Хадамара и скалярной кодовой книгой Ллойда-Макса; HLWQ Хана и др. обращается к квантованию кэша KV со случайным полярным вращением. Эти два метода технически различны. > > Существующие загрузчики, которые загружают этот репозиторий по идентификатору, продолжают работать без изменений. В будущих загрузках моделей будет использоваться имя HLWQ. > > Справочный документ для этой методики: arXiv:2603.29078 (v2 в стадии подготовки; v1 по-прежнему использует старое название). Предварительная обработка HLWQ Q5 дает лучшие веса INT4, чем прямое квантование — хранится в формате CompressedTensors для нативного вывода vLLM. Вот и все. Ни плагина, ни пипса, ни polarquant, ни пользовательского кода. Стандарт INT4 (GPTQ/AWQ) квантует веса напрямую — выбросы вызывают ошибки. 1. Вращение по Адамарду — распределяет энергию веса…

Модальности:
Генерация текста

Области применения:
Диалог / чат


Задача: Генерация текста
Автор: caiovicentino1
Теги: qwen3_5, image-text-to-text, hlwq, quantized, compressed-tensors, int4, marlin, vllm
Лайков: 4  |  Загрузок: 86

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.