взвешенные/матричные кванты https://huggingface.co/Jackrong/Qwen3.5-9B-GLM5.1-Distill-v1. Для удобного обзора и списка загрузки посетите нашу страницу модели для этой модели. статические кванты доступны по адресу https://huggingface.co/mradermacher/Qwen3.5-9B-GLM5.1-Distill-v1-GGUF. Это модель видения — файлы mmproj (если есть) будут находиться в статическом репозитории. Если вы не знаете, как использовать файлы GGUF, обратитесь к одному из файлов README TheBloke для получения более подробной информации, в том числе о том, как объединить файлы, состоящие из нескольких частей. (отсортировано по размеру, не обязательно по качеству. IQ-квант часто предпочтительнее, чем аналогичный по размеру не-IQ-квант) Вот удобный график от ikawrakow, сравнивающий некоторые типы квантов более низкого качества (чем ниже, тем лучше): А вот мысли Artefact2 по этому поводу: https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9 См. https://huggingface.co/mradermacher/model_requests, чтобы найти ответы на вопросы, которые могут у вас возникнуть, и/или если вы хотите квантовать какую-то другую модель. Я благодарю мою компанию nethype GmbH за то, что она позволила мне использовать ее серверы и предоставила обновления моей рабочей станции, чтобы я мог работать в свободное время. Отдельное спасибо @nicoboss за предоставленный мне доступ к его личному суперкомпьютеру, который позволил мне…
Модальности:
Генерация текста
Области применения:
Генерация кода Математика Логика и рассуждение Диалог / чат Мультиязычность
Задача: Генерация текста
Автор: mradermacher
Теги: gguf, llama.cpp, local-inference, quantized, qwen3_5, qwen, qwen3.5, glm-5.1
Лайков: 11 | Загрузок: 3,596
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
