Этот репозиторий содержит официальную 3-битную квантованную версию модели Qwen3-32B с использованием метода SINQ (Sinkhorn-Normalized Quantization), как представлено в SINQ: Sinkhorn-Normalized Quantization для низкоточных весов LLM без калибровки. SINQ — это новый, быстрый и высококачественный метод квантования, предназначенный для уменьшения размера любых больших языковых моделей, сохраняя при этом их точность практически неизменной. Чтобы поддержать проект, поставьте звездочку ⭐ в официальном репозитории SINQ на github. — Название модели: Qwen3-32B-3bit-SINQ — Базовая модель: Qwen/Qwen3-32B — Задача: Генерация текста — Платформа: PyTorch / Transformers — Лицензия: Apache-2.0 — Квантизация: Huawei — Лаборатория вычислительных систем — Метод квантования: SINQ (нормализованное квантование по синхорну) — Точность: INT3 — Размер группы: 64 — Платформа: PyTorch — Библиотека квантования: sinq Если вы найдете SINQ полезным в ваших исследованиях или приложениях, пожалуйста — поставьте звездочку ⭐ в официальном репозитории SINQ на github. — Процитируйте нашу статью:
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: huawei-csl
Теги: qwen3, quantization, sinq, int3, efficient-inference, qwen, llm, compression
Лайков: 6 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
