Вот конвертированные и/или квантованные модели GGUF, совместимые с llama.cpp, для Qwen 14B Chat. Методы: тип-0 (Q40, Q50, Q80) — веса w получаются из квантов q с использованием w = d q, где d — масштаб блока. тип-1 (Q41, Q51) — веса задаются как w = d * q + m, где m — минимум блока. Доступны новые методы: GGMLTYPEQ2K — 2-битное квантование «типа 1» в суперблоках, содержащих 16 блоков, каждый блок имеет 16 весов. Блочные шкалы и минуты квантуются с помощью 4 битов. В результате эффективно используется 2,5625 бит на вес (bpw) GGMLTYPEQ3K — 3-битное квантование «типа 0» в суперблоках, содержащих 16 блоков, каждый блок имеет 16 весов. Шкалы квантуются 6 битами. В конечном итоге используется 3,4375 bpw. GGMLTYPEQ4K — 4-битное квантование «типа 1» в суперблоках, содержащих 8 блоков, каждый блок имеет 32 веса. Шкалы и минуты квантуются 6 битами. В конечном итоге используется 4,5 bpw. GGMLTYPEQ5K — 5-битное квантование «типа 1». Та же структура суперблока, что и у GGMLTYPEQ4K, что приводит к GGMLTYPEQ6K со скоростью 5,5 бит в секунду — 6-битное квантование «типа 0». Суперблоки с 16 блоками, каждый блок имеет 16 весов. Шкалы квантуются 8 битами. В итоге используется GGMLTYPEQ8K с битрейтом 6,5625 бит в секунду — «тип-0»…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: about0
Теги: gguf, qwen, chat, 中文, zh, en, endpoints_compatible
Лайков: 7 | Загрузок: 142
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
