Статическое квантование Llama.cpp nvidia/Llama-3.1-Minitron-4B-Width-Base Исходная модель: nvidia/Llama-3.1-Minitron-4B-Width-Base Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp b3600 Набор данных IMatrix: здесь — Файлы — Общие кванты — Все кванты — Загрузка использование Huggingface-cli — Вывод — Llama.cpp — Часто задаваемые вопросы — Почему IMatrix не применяется везде? — Как мне объединить разделенный GGUF? —— | ———- | ——— | —— | ———— | ——— | Если файл модели большой, он разделен на несколько файлов. Чтобы загрузить их все в локальную папку, запустите: Согласно этому исследованию, оказывается, что низкие квантования — единственные, которые получают выгоду от входных данных imatrix (согласно результатам hellaswag). 1. Убедитесь, что у вас есть gguf-split. Чтобы получить gguf-split, перейдите по адресу https://github.com/ggerganov/llama.cpp/releases. — Загрузите соответствующий zip-архив для вашей системы из последней версии. — Разархивируйте архив, и вы сможете найти gguf-split. 2. Найдите папку фрагментов GGUF (например: Llama-3.1-Minitron-4B-Width-Base.Q80) 3. Запустите gguf-split —merge Llama-3.1-Minitron-4B-Width-Base.Q80/Llama-3.1-Minitron-4B-Width-Base.Q80-00001-of-XXXXX.gguf…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: legraphista
Теги: gguf, quantized, GGUF, quantization, static, 16bit, 8bit, 6bit
Лайков: 13 | Загрузок: 349
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
