Gemma-2-9B-It-SPPO-Iter3-IMat-GGUF
Иматричное квантование Llama.cpp UCLA-AGI/Gemma-2-9B-It-SPPO-Iter3 Исходная модель: UCLA-AGI/Gemma-2-9B-It-SPPO-Iter3 Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp b3311 Набор данных IMatrix:...
Метка: static
DeepSeek-V2-Lite-IMat-GGUF
Иматричное квантование Llama.cpp deepseek-ai/DeepSeek-V2-Lite Исходная модель: deepseek-ai/DeepSeek-V2-Lite Исходный тип dtype: BF16 (bfloat16) Квантизация: llama.cpp https://github.com/ggerganov/llama.cpp/pull/7519 Набор данных IMatrix:...
K2-Chat-IMat-GGUF
Исходная модель: LLM360/K2-Chat Исходный тип dtype: FP16 (float16) Квантизация: llama.cpp b3051 Набор данных IMatrix: здесь — Файлы —...
c4ai-command-r-plus-08-2024-IMat-GGUF
Иматричное квантование Llama.cpp CohereForAI/c4ai-command-r-plus-08-2024 Исходная модель: CohereForAI/c4ai-command-r-plus-08-2024 Исходный тип dtype: FP16 (float16) Квантование: llama.cpp b3645 Набор данных IMatrix:...
DeepSeek-Coder-V2-Instruct-IMat-GGUF
Иматричное квантование Llama.cpp deepseek-ai/DeepSeek-Coder-V2-Instruct Исходная модель: deepseek-ai/DeepSeek-Coder-V2-Instruct Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp b3166 Набор данных IMatrix:...
Reflection-Llama-3.1-70B-IMat-GGUF
>[!ПРЕДУПРЕЖДЕНИЕ] >Потенциально нарушенные веса, см. https://x.com/mattshumer_/status/1832424499054309804?s=46 >После разрешения это сообщение исчезнет. Иматричное квантование Llama.cpp mattshumer/Reflection-Llama-3.1-70B Исходная модель: mattshumer/Reflection-Llama-3.1-70B...
Higgs-Llama-3-70B-IMat-GGUF
Исходная модель: bosonai/Higgs-Llama-3-70B Исходный тип dtype: FP32 (float32) Квантизация: llama.cpp b3091 Набор данных IMatrix: здесь — Файлы —...
DeepSeek-Coder-V2-Lite-Instruct-IMat-GGUF
Иматричное квантование Llama.cpp deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct Исходная модель: deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp b3166 Набор данных IMatrix:...
DeepSeek-V2-Lite-Chat-IMat-GGUF
Иматричное квантование Llama.cpp deepseek-ai/DeepSeek-V2-Lite-Chat Исходная модель: deepseek-ai/DeepSeek-V2-Lite-Chat Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp fork PR 7519 Набор...
Llama-3.1-Minitron-4B-Width-Base-GGUF
Статическое квантование Llama.cpp nvidia/Llama-3.1-Minitron-4B-Width-Base Исходная модель: nvidia/Llama-3.1-Minitron-4B-Width-Base Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp b3600 Набор данных IMatrix:...