llm-compiler-13b-IMat-GGUF
Original Model: facebook/llm-compiler-13b Original dtype: BF16 (bfloat16) Quantized by: llama.cpp b3256 IMatrix dataset: here — Files — IMatrix...
Original Model: facebook/llm-compiler-13b Original dtype: BF16 (bfloat16) Quantized by: llama.cpp b3256 IMatrix dataset: here — Files — IMatrix...
Llama.cpp imatrix quantization of OpenLLM-Ro/RoLlama3-8b-Instruct Original Model: OpenLLM-Ro/RoLlama3-8b-Instruct Original dtype: BF16 (bfloat16) Quantized by: llama.cpp b3206 IMatrix dataset:...
Original Model: IEITYuan/Yuan2-M32-hf Original dtype: BF16 (bfloat16) Quantized by: https://github.com/chong000/3rd_party/tree/main IMatrix dataset: here — Files — IMatrix —...
Иматричное квантование Llama.cpp UCLA-AGI/Gemma-2-9B-It-SPPO-Iter3 Исходная модель: UCLA-AGI/Gemma-2-9B-It-SPPO-Iter3 Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp b3311 Набор данных IMatrix:...
Исходная модель: LLM360/K2-Chat Исходный тип dtype: FP16 (float16) Квантизация: llama.cpp b3051 Набор данных IMatrix: здесь — Файлы —...
Иматричное квантование Llama.cpp CohereForAI/c4ai-command-r-plus-08-2024 Исходная модель: CohereForAI/c4ai-command-r-plus-08-2024 Исходный тип dtype: FP16 (float16) Квантование: llama.cpp b3645 Набор данных IMatrix:...
>[!ПРЕДУПРЕЖДЕНИЕ] >Потенциально нарушенные веса, см. https://x.com/mattshumer_/status/1832424499054309804?s=46 >После разрешения это сообщение исчезнет. Иматричное квантование Llama.cpp mattshumer/Reflection-Llama-3.1-70B Исходная модель: mattshumer/Reflection-Llama-3.1-70B...
Исходная модель: bosonai/Higgs-Llama-3-70B Исходный тип dtype: FP32 (float32) Квантизация: llama.cpp b3091 Набор данных IMatrix: здесь — Файлы —...
Иматричное квантование Llama.cpp deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct Исходная модель: deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp b3166 Набор данных IMatrix:...
Статическое квантование Llama.cpp nvidia/Llama-3.1-Minitron-4B-Width-Base Исходная модель: nvidia/Llama-3.1-Minitron-4B-Width-Base Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp b3600 Набор данных IMatrix:...