Иматричное квантование Llama.cpp deepseek-ai/DeepSeek-V2-Lite-Chat Исходная модель: deepseek-ai/DeepSeek-V2-Lite-Chat Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp fork PR 7519 Набор данных IMatrix: здесь — DeepSeek-V2-Lite-Chat-IMat-GGUF — Файлы — IMatrix — Общие кванты — Все кванты — Загрузка с помощью Huggingface-cli — Вывод — Простой шаблон чата — Шаблон чата с системной подсказкой — Llama.cpp — Часто задаваемые вопросы — Почему IMatrix не применяется везде? — Как мне объединить разделенный GGUF? —— | ———- | ——— | —— | ———— | ——— | Если модель больше 50 ГБ, она будет разделена на несколько файлов. Чтобы загрузить их все в локальную папку, запустите: Согласно этому исследованию, оказывается, что низкие квантования — единственные, которые получают выгоду от входных данных imatrix (согласно результатам hellaswag). 1. Убедитесь, что у вас есть gguf-split — Чтобы получить gguf-split, перейдите по адресу https://github.com/ggerganov/llama.cpp/releases — Загрузите соответствующий zip-архив для вашей системы из последней версии — Разархивируйте архив, и вы сможете найти gguf-split 2. Найдите папку с фрагментами GGUF (например: DeepSeek-V2-Lite-Chat.Q80) 3. Запустите gguf-split —объединить…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: legraphista
Теги: gguf, quantized, GGUF, imatrix, quantization, imat, static, conversational
Лайков: 12 | Загрузок: 1,494
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
