взвешенные/imatrix кванты https://huggingface.co/mookiezii/Discord-Hermes-3-8B Для получения удобного обзора и списка загрузок посетите нашу страницу модели для этой модели. статические кванты доступны по адресу https://huggingface.co/mradermacher/Discord-Hermes-3-8B-GGUF Если вы не уверены, как использовать файлы GGUF, обратитесь к одному из README TheBloke для получения более подробной информации, в том числе о том, как объединить многокомпонентные файлы. (отсортированные по размеру, не обязательно по качеству. IQ-кванты часто предпочтительнее, чем аналогичные по размеру не-IQ-кванты) Вот удобный график от ikawrakow, сравнивающий некоторые типы квантов более низкого качества (чем ниже, тем лучше): И вот мысли Artefact2 по этому вопросу: https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9 См. https://huggingface.co/mradermacher/model_requests для некоторых ответов на вопросы, которые у вас могут возникнуть, и/или если вы хотите квантовать какую-то другую модель. I thank my company, nethype GmbH, for letting me use its servers and providing upgrades to my workstation to enable this work in my free time. Additional thanks to @nicoboss for giving me access to his private supercomputer, enabling me to provide many more imatrix quants, at much higher quality, than I would otherwise be able to.
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат
Задача: Генерация текста
Автор: mradermacher
Теги: gguf, causal-lm, instruct, chat, fine-tuned, merged-lora, llama-3, hermes
Лайков: 3 | Загрузок: 720
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
