Иматричное квантование Llama.cpp CohereForAI/c4ai-command-r-plus-08-2024 Исходная модель: CohereForAI/c4ai-command-r-plus-08-2024 Исходный тип dtype: FP16 (float16) Квантование: llama.cpp b3645 Набор данных IMatrix:...
Иматричное квантование Llama.cpp deepseek-ai/DeepSeek-Coder-V2-Instruct Исходная модель: deepseek-ai/DeepSeek-Coder-V2-Instruct Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp b3166 Набор данных IMatrix:...
>[!ПРЕДУПРЕЖДЕНИЕ] >Потенциально нарушенные веса, см. https://x.com/mattshumer_/status/1832424499054309804?s=46 >После разрешения это сообщение исчезнет. Иматричное квантование Llama.cpp mattshumer/Reflection-Llama-3.1-70B Исходная модель: mattshumer/Reflection-Llama-3.1-70B...
Исходная модель: bosonai/Higgs-Llama-3-70B Исходный тип dtype: FP32 (float32) Квантизация: llama.cpp b3091 Набор данных IMatrix: здесь — Файлы —...
Иматричное квантование Llama.cpp deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct Исходная модель: deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp b3166 Набор данных IMatrix:...
Иматричное квантование Llama.cpp deepseek-ai/DeepSeek-V2-Lite-Chat Исходная модель: deepseek-ai/DeepSeek-V2-Lite-Chat Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp fork PR 7519 Набор...
Статическое квантование Llama.cpp nvidia/Llama-3.1-Minitron-4B-Width-Base Исходная модель: nvidia/Llama-3.1-Minitron-4B-Width-Base Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp b3600 Набор данных IMatrix:...
Иматричное квантование Llama.cpp для mistralai/Codestral-22B-v0.1 (legraphista/Codestral-22B-v0.1-hf-FIM-fix) Обновления: — 31.05.2024: исправления отсутствующих токенов FIM модели. Если файл модели большой,...
> [!ВНИМАНИЕ] > Внимание! > Эта модель еще не поддерживается должным образом в llama.cpp и не будет работать....
Исходная модель: google/gemma-2-27b-it Исходный тип dtype: BF16 (bfloat16) Квантизация: llama.cpp b3790 Набор данных IMatrix: здесь — Файлы —...
