weighted/imatrix quants of https://huggingface.co/c4tdr0ut/grok-oss-Revenant-70B For a convenient overview and download list, visit our model page for this model. static quants are available at https://huggingface.co/mradermacher/grok-oss-Revenant-70B-GGUF If you are unsure how to use GGUF files, refer to one of TheBloke’s READMEs for more details, including on how to concatenate multi-part files. (sorted by size, not necessarily quality. IQ-кванты часто предпочтительнее, чем аналогичные по размеру не-IQ-кванты) Вот удобный график от ikawrakow, сравнивающий некоторые типы квантов более низкого качества (чем ниже, тем лучше): И вот мысли Artefact2 по этому вопросу: https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9 См. https://huggingface.co/mradermacher/model_requests для некоторых ответов на вопросы, которые у вас могут возникнуть, и/или если вы хотите квантовать какую-то другую модель. Я благодарю свою компанию, nethype GmbH, за то, что она позволила мне использовать свои серверы и предоставила обновления для моей рабочей станции, чтобы я мог выполнять эту работу в свободное время. Дополнительная благодарность @ nicoboss за то, что он предоставил мне доступ к его частному суперкомпьютеру, что позволило мне предоставить гораздо больше квантов imatrix с гораздо более высоким качеством, чем я мог бы получить в противном случае.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: mradermacher
Теги: gguf, grok, llama, qlora, orpo, sft, unaligned, uncensored
Лайков: 3 | Загрузок: 737
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
