Исходная модель: https://huggingface.co/Sao10K/L3.3-70B-Euryale-v2.3 Некоторые из этих квантов (Q3KXL, Q4KL и т. д.) представляют собой стандартный метод квантования, в котором вложения и выходные веса квантуются до Q8_0 вместо того, что обычно используется по умолчанию. Если модель больше 50 ГБ, она будет разделена на несколько файлов. Чтобы загрузить их все в локальную папку, запустите: Вы можете либо указать новый локальный каталог (L3.3-70B-Euryale-v2.3-Q8_0), либо загрузить их все на месте (./). Новое: благодаря усилиям по онлайн-перепаковке весов в этом PR, теперь вы можете просто использовать Q4_0, если ваш llama.cpp скомпилирован для вашего ARM-устройства. Точно так же, если вы хотите получить немного лучшую производительность, вы можете использовать IQ4NL благодаря этому PR, который также переупаковает веса для ARM, хотя на данный момент только 44. Время загрузки может увеличиться, но это приведет к увеличению общей скорости. Щелкните, чтобы просмотреть информацию о Q40XX. Они НЕ* предназначены для разгрузки Metal (Apple) или графического процессора (nvidia/AMD/intel), только чипов ARM (и некоторых процессоров AVX2/AVX512). Если вы используете чип ARM, кванты Q40XX будут иметь существенное ускорение. Ознакомьтесь со сравнением скорости Q4044 в исходном запросе на включение. Чтобы проверить, какой…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: bartowski
Теги: gguf, generated_from_trainer
Лайков: 8 | Загрузок: 3,329
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
