llm-compiler-13b-IMat-GGUF
Original Model: facebook/llm-compiler-13b Original dtype: BF16 (bfloat16) Quantized by: llama.cpp b3256 IMatrix dataset: here — Files — IMatrix...
Метка: static
RoLlama3-8b-Instruct-IMat-GGUF
Llama.cpp imatrix quantization of OpenLLM-Ro/RoLlama3-8b-Instruct Original Model: OpenLLM-Ro/RoLlama3-8b-Instruct Original dtype: BF16 (bfloat16) Quantized by: llama.cpp b3206 IMatrix dataset:...
Qwen2-7B-Instruct-IMat-GGUF
Оригинальная модель: Qwen/Qwen2-7B-Instruct Оригинальный dtype: BF16 (bfloat16) Quantized by: llama.cpp b3091 IMatrix dataset: here — Files — IMatrix...
Nxcode-CQ-7B-orpo-IMat-GGUF
Original Model: NTQAI/Nxcode-CQ-7B-orpo Original dtype: BF16 (bfloat16) Quantized by: llama.cpp b3067 IMatrix dataset: here — Files — IMatrix...
Yuan2-M32-hf-IMat-GGUF
Original Model: IEITYuan/Yuan2-M32-hf Original dtype: BF16 (bfloat16) Quantized by: https://github.com/chong000/3rd_party/tree/main IMatrix dataset: here — Files — IMatrix —...
internlm2-math-plus-1_8b-IMat-GGUF
Llama.cpp imatrix quantization of internlm/internlm2-math-plus-18b_ Original Model: internlm/internlm2-math-plus-18b Original dtype: BF16 (bfloat16`) Quantized by: llama.cpp b3008 IMatrix dataset:...
DeepSeek-V2.5-IMat-GGUF
Исходная модель: deepseek-ai/DeepSeek-V2.5 Исходный тип dtype: BF16 (bfloat16) Квантизация: llama.cpp b3675 Набор данных IMatrix: здесь — Файлы —...
Gemma-2-9B-It-SPPO-Iter3-IMat-GGUF
Иматричное квантование Llama.cpp UCLA-AGI/Gemma-2-9B-It-SPPO-Iter3 Исходная модель: UCLA-AGI/Gemma-2-9B-It-SPPO-Iter3 Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp b3311 Набор данных IMatrix:...
DeepSeek-V2-Lite-IMat-GGUF
Иматричное квантование Llama.cpp deepseek-ai/DeepSeek-V2-Lite Исходная модель: deepseek-ai/DeepSeek-V2-Lite Исходный тип dtype: BF16 (bfloat16) Квантизация: llama.cpp https://github.com/ggerganov/llama.cpp/pull/7519 Набор данных IMatrix:...
K2-Chat-IMat-GGUF
Исходная модель: LLM360/K2-Chat Исходный тип dtype: FP16 (float16) Квантизация: llama.cpp b3051 Набор данных IMatrix: здесь — Файлы —...