Этот репозиторий содержит официальные версии модели Qwen3-4B, квантованные PreSINQ GGUF. Подробное объяснение стратегии PreSINQ можно найти в официальном репозитории SINQ. SINQ — это быстрый и высококачественный метод квантования, предназначенный для значительного уменьшения размера модели большого языка при сохранении точности. Если вы считаете этот проект полезным, поставьте ⭐ официальному репозиторию SINQ. Модели PreSINQ Qwen3-4B создаются с использованием сценария PreSINQ GGUF, доступного в официальном репозитории SINQ. Представленные здесь модели соответствуют наиболее эффективным конфигурациям для каждого типа квантования. Однако вы можете генерировать хорошие модели PreSINQ (не самые лучшие) быстрее, уменьшив количество конфигураций, исследуемых во время выполнения сценария PreSINQ. В таблице ниже показаны недоумения для различных конфигураций параметров PreSINQ с использованием квантования Q3KS. Оценка выполняется на подмножестве из 5 тыс. строк набора данных проверки Pile. — Пожалуйста, поставьте ⭐ официальному репозиторию SINQ. — Процитируйте нашу статью: «`bibtex @misc{muller2025sinq, title={SINQ: нормализованное по Синкхорну квантование для низкоточных весов LLM без калибровки}, автор={Лоренц К. Мюллер…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: huawei-csl
Теги: gguf, quantized, sinq, efficient-inference, qwen, llm, compression, en
Лайков: 6 | Загрузок: 21
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
