Исходная модель: https://huggingface.co/NousResearch/Hermes-3-Llama-3.2-3B Некоторые из этих квантов (Q3KXL, Q4KL и т. д.) представляют собой стандартный метод квантования с встраиваниями и выходными весами, квантованными до Q8_0 вместо того, что обычно используется по умолчанию. Если модель больше 50 ГБ, она будет разделена на несколько файлов. Чтобы загрузить их все в локальную папку, запустите: Вы можете либо указать новый локальный каталог (Hermes-3-Llama-3.2-3B-Q8_0), либо загрузить их все на месте (./). Новое: благодаря усилиям по онлайн-перепаковке весов в этом PR, теперь вы можете просто использовать Q4_0, если ваш llama.cpp скомпилирован для вашего ARM-устройства. Точно так же, если вы хотите получить немного лучшую производительность, вы можете использовать IQ4NL благодаря этому PR, который также переупаковает веса для ARM, хотя на данный момент только 44. Время загрузки может увеличиться, но это приведет к увеличению общей скорости. Щелкните, чтобы просмотреть информацию о Q40XX. Они НЕ* предназначены для разгрузки Metal (Apple) или графического процессора (nvidia/AMD/intel), только чипов ARM (и некоторых процессоров AVX2/AVX512). Если вы используете чип ARM, кванты Q40XX будут иметь существенное ускорение. Посмотрите сравнение скорости Q4044 в исходном запросе на включение. Чтобы проверить…
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат
Задача: Генерация текста
Автор: bartowski
Теги: gguf, Llama-3, instruct, finetune, chatml, gpt4, synthetic data, distillation
Лайков: 14 | Загрузок: 8,611
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
