Codestral-22B-v0.1-IMat-GGUF
Иматричное квантование Llama.cpp для mistralai/Codestral-22B-v0.1 (legraphista/Codestral-22B-v0.1-hf-FIM-fix) Обновления: — 31.05.2024: исправления отсутствующих токенов FIM модели. Если файл модели большой,...
Метка: static
glm-4-9b-chat-1m-GGUF
> [!ВНИМАНИЕ] > Внимание! > Эта модель еще не поддерживается должным образом в llama.cpp и не будет работать....
gemma-2-27b-it-IMat-GGUF
Исходная модель: google/gemma-2-27b-it Исходный тип dtype: BF16 (bfloat16) Квантизация: llama.cpp b3790 Набор данных IMatrix: здесь — Файлы —...
glm-4-9b-chat-GGUF
Исходная модель: THUDM/glm-4-9b-chat Исходный тип dtype: BF16 (bfloat16) Квантизация: https://github.com/ggerganov/llama.cpp/pull/6999 Набор данных IMatrix: здесь — Файлы — Общие...
Mistral-Large-Instruct-2407-IMat-GGUF
Иматричное квантование Llama.cpp для mistralai/Mistral-Large-Instruct-2407 Исходная модель: mistralai/Mistral-Large-Instruct-2407 Исходный тип dtype: BF16 (bfloat16) Квантизация: llama.cpp b3452 Набор данных...