Исходная модель: https://huggingface.co/lemon07r/Gemma-2-Ataraxy-v2-9B Некоторые из этих квантов (Q3KXL, Q4KL и т. д.) представляют собой стандартный метод квантования с встраиваниями и выходными весами, квантованными до Q8_0 вместо того, что обычно используется по умолчанию. Некоторые говорят, что это улучшает качество, другие не замечают никакой разницы. Если вы используете эти модели, ПОЖАЛУЙСТА, КОММЕНТИРУЙТЕ свои выводы. Я хотел бы получить отзывы о том, что они действительно используются и полезны, поэтому я не буду продолжать загружать количественные данные, которые никто не использует. Если модель больше 50 ГБ, она будет разделена на несколько файлов. Чтобы загрузить их все в локальную папку, выполните: Вы можете либо указать новый локальный каталог (Gemma-2-Ataraxy-v2-9B-Q8_0), либо загрузить их все на месте (./). Если вы используете чип ARM, кванты Q40XX будут иметь существенное ускорение. Ознакомьтесь со сравнением скорости Q4044 в исходном запросе на извлечение. Чтобы проверить, какой из них лучше всего подойдет для вашего чипа ARM, вы можете проверить функции AArch64 SoC (спасибо EloyOn!). Отличная статья с диаграммами, показывающими различные характеристики, предоставлена Artefact2 здесь. Первое, что нужно выяснить, это насколько большую модель вы можете запустить. Для этого вам нужно выяснить, сколько оперативной памяти и/или видеопамяти…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: bartowski
Теги: gguf, mergekit, merge, endpoints_compatible
Лайков: 13 | Загрузок: 847
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
