Этот репозиторий содержит официальную 4-битную квантованную версию модели Qwen3-14B с использованием калиброванной версии метода SINQ (Sinkhorn-Normalized Quantization). SINQ — это новый, быстрый и высококачественный метод квантования, предназначенный для уменьшения размера любых больших языковых моделей, сохраняя при этом их точность практически неизменной. Чтобы поддержать проект, поставьте звездочку ⭐ в официальном репозитории SINQ на github. — Название модели: Qwen3-14B-4bit-ASINQ — Базовая модель: Qwen/Qwen3-14B — Задача: Генерация текста — Платформа: PyTorch/Transformers — Лицензия: Apache-2.0 — Квантование: Huawei — Лаборатория вычислительных систем — Метод квантования: A-SINQ (нормализованное квантование по синхорну) — Точность: INT4 — Размер группы: 64 — Платформа: PyTorch — Квантование Библиотека: sinq Если вы найдете SINQ полезным в ваших исследованиях или приложениях, пожалуйста, поставьте звездочку ⭐ в официальном репозитории SINQ на github. — Процитируйте нашу статью:
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: huawei-csl
Теги: sinq, qwen3, quantization, int4, efficient-inference, qwen, llm, compression
Лайков: 6 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
