Оригинальная модель: https://huggingface.co/zerofata/MS3.2-PaintedFantasy-Visage-33B Запускайте их напрямую с помощью llama.cpp или любого другого проекта на основе llama.cpp Шаблон чата не указан, поэтому используется по умолчанию. Это может быть неверно, проверьте оригинальную карточку модели для получения подробной информации. Некоторые из этих квантов (Q3KXL, Q4KL и т. д.) являются стандартным методом квантования с вложениями и выходными весами, квантованными в Q8_0 вместо того, что они обычно используют по умолчанию. Если размер модели превышает 50 ГБ, она будет разделена на несколько файлов. Чтобы загрузить их все в локальную папку, выполните команду: Вы можете указать новый локальный каталог (zerofataMS3.2-PaintedFantasy-Visage-33B-Q80) или загрузить их все на месте (./) Раньше вы загружали Q4044/48/8_8, и их веса перемежались в памяти, чтобы повысить производительность на машинах ARM и AVX, загружая больше данных за один проход. Теперь, однако, есть то, что называется «онлайн-переупаковка» для весов. подробности в этом PR. Если вы используете Q4_0, и ваше оборудование выиграет от переупаковки весов, оно будет делать это автоматически на лету. Начиная со сборки b4282 llama.cpp, вы не сможете запускать файлы Q40XX, вместо этого вам нужно будет использовать Q40.…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: bartowski
Теги: gguf, endpoints_compatible, imatrix
Лайков: 3 | Загрузок: 1,526
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
