> [!NOTE] > Если вы ищете кванты до версии llama.cpp PR #8676, вы можете найти их здесь, в этой ветке > Кванты основной ветки могут быть несовместимы со старыми сборками llama.cpp Иматричное квантование Llama.cpp для мета-ламы/Meta-Llama-3.1-70B-Instruct Исходная модель: мета-llama/Meta-Llama-3.1-70B-Instruct Исходный тип dtype: BF16 (bfloat16) Квантизация: llama.cpp b3479 Набор данных IMatrix: здесь — Файлы — IMatrix — Общие кванты — Все кванты — Загрузка с помощью Huggingface-cli — Вывод — Простой шаблон чата — Шаблон чата с системной подсказкой — Llama.cpp — Часто задаваемые вопросы — Почему IMatrix не применяется везде? — Как мне объединить разделенный GGUF? —— | ———- | ——— | —— | ———— | ——— | Если файл модели большой, он разделен на несколько файлов. Чтобы загрузить их все в локальную папку, запустите: Согласно этому исследованию, оказывается, что низкие квантования — единственные, которые получают выгоду от входных данных imatrix (согласно результатам hellaswag). 1. Убедитесь, что у вас есть gguf-split. Чтобы получить gguf-split, перейдите по адресу https://github.com/ggerganov/llama.cpp/releases. — Загрузите соответствующий zip-архив для вашей системы из последней версии. — Разархивируйте архив…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: legraphista
Теги: gguf, facebook, meta, llama, llama-3, quantized, GGUF, quantization
Лайков: 11 | Загрузок: 1,175
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
