Этот репозиторий содержит официальную 4-битную квантованную версию модели Qwen3-14B с использованием метода SINQ (Sinkhorn-Normalized Quantization), как представлено в SINQ: Sinkhorn-Normalized Quantization для низкоточных весов LLM без калибровки. SINQ — это новый, быстрый и высококачественный метод квантования, предназначенный для уменьшения размера любых больших языковых моделей, сохраняя при этом их точность практически неизменной. Чтобы поддержать проект, поставьте звездочку ⭐ в официальном репозитории SINQ на github. — Название модели: Qwen3-14B-4bit-SINQ — Базовая модель: Qwen/Qwen3-14B — Задача: Генерация текста — Платформа: PyTorch/Transformers — Лицензия: Apache-2.0 — Квантование: Huawei — Лаборатория вычислительных систем — Метод квантования: SINQ (нормализованное квантование по синхорну) — Точность: INT4 — Размер группы: 64 — Платформа: PyTorch — Библиотека квантования: sinq Если вы найдете SINQ полезным в ваших исследованиях или приложениях, пожалуйста — поставьте звездочку ⭐ в официальном репозитории SINQ на github. — Процитируйте нашу статью:
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: huawei-csl
Теги: qwen3, quantization, sinq, int4, efficient-inference, qwen, llm, compression
Лайков: 5 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
