Llama-3.1-70B-ArliAI-RPMax-v1.3-GGUF
Оригинальная модель: https://huggingface.co/ArliAI/Llama-3.1-70B-ArliAI-RPMax-v1.3 Некоторые из этих квантов (Q3KXL, Q4KL и т. д.) являются стандартным методом квантования с вложениями...
Метка: imatrix
Qwen2.5-72B-0.6x-Instruct-GGUF
Исходная модель: https://huggingface.co/ddh0/Qwen2.5-72B-0.6x-Instruct Некоторые из этих квантов (Q3KXL, Q4KL и т. д.) используют стандартный метод квантизации, при котором...
TheBeagle-v2beta-32B-MGS-GGUF
Original model: https://huggingface.co/fblgit/TheBeagle-v2beta-32B-MGS Some of these quants (Q3KXL, Q4KL etc) are the standard quantization method with the embeddings...
magnum-v4-27b-GGUF
Original model: https://huggingface.co/anthracite-org/magnum-v4-27b Some of these quants (Q3KXL, Q4KL etc) are the standard quantization method with the embeddings...
Behemoth-123B-v1-GGUF
Original model: https://huggingface.co/TheDrummer/Behemoth-123B-v1 Some of these quants (Q3KXL, Q4KL etc) are the standard quantization method with the embeddings...
Chronos-Platinum-72B-GGUF
Оригинальная модель: https://huggingface.co/ZeusLabs/Chronos-Platinum-72B Некоторые из этих квантов (Q3KXL, Q4KL и т. д.) являются стандартным методом квантования с вложениями...
Acolyte-22B-iMat-GGUF
Матрица важности рассчитана с использованием groupsmerged.txt 105 фрагментов nctx=512 В расчетах используются веса прецизионной модели fp32 LoRA группы...
Llama-3.1-70B-ArliAI-RPMax-v1.1-GGUF
Исходная модель: https://huggingface.co/ArliAI/Llama-3.1-70B-ArliAI-RPMax-v1.1 Некоторые из этих квантов (Q3KXL, Q4KL и т. д.) представляют собой стандартный метод квантования, в...
DeepSeek-V2.5-IMat-GGUF
Исходная модель: deepseek-ai/DeepSeek-V2.5 Исходный тип dtype: BF16 (bfloat16) Квантизация: llama.cpp b3675 Набор данных IMatrix: здесь — Файлы —...
magnum-32b-v1-GGUF
Исходная модель: https://huggingface.co/anthracite-org/magnum-32b-v1 Спасибо kalomaze и Dampf за помощь в создании набора калибровочных данных imatrix. Спасибо ZeroWw за...