Этот репозиторий содержит официальную 4-битную квантованную версию модели Qwen3-1.7B с использованием калиброванной версии метода SINQ (Sinkhorn-Normalized Quantization). SINQ — это новый, быстрый и высококачественный метод квантования, предназначенный для уменьшения размера любых больших языковых моделей, сохраняя при этом их точность практически неизменной. Чтобы поддержать проект, поставьте звездочку ⭐ в официальном репозитории SINQ на github. — Название модели: Qwen3-1.7B-4bit-ASINQ — Базовая модель: Qwen/Qwen3-1.7B — Задача: Генерация текста — Платформа: PyTorch/Transformers — Лицензия: Apache-2.0 — Квантование выполнено: Huawei — Лаборатория вычислительных систем — Метод квантования: A-SINQ (нормализованное квантование по синхорну) — Точность: INT4 — Размер группы: 64 — Платформа: PyTorch — Библиотека квантования: sinq Если вы найдете SINQ полезным в ваших исследованиях или приложениях, пожалуйста, поставьте звездочку ⭐ в официальном репозитории SINQ на github. — Процитируйте нашу статью:
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: huawei-csl
Теги: qwen3, quantization, sinq, int4, efficient-inference, qwen, llm, compression
Лайков: 5 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
