DeepSeek-V2-Lite-Chat-IMat-GGUF
Иматричное квантование Llama.cpp deepseek-ai/DeepSeek-V2-Lite-Chat Исходная модель: deepseek-ai/DeepSeek-V2-Lite-Chat Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp fork PR 7519 Набор...
Метка: imat
Codestral-22B-v0.1-IMat-GGUF
Иматричное квантование Llama.cpp для mistralai/Codestral-22B-v0.1 (legraphista/Codestral-22B-v0.1-hf-FIM-fix) Обновления: — 31.05.2024: исправления отсутствующих токенов FIM модели. Если файл модели большой,...
gemma-2-27b-it-IMat-GGUF
Исходная модель: google/gemma-2-27b-it Исходный тип dtype: BF16 (bfloat16) Квантизация: llama.cpp b3790 Набор данных IMatrix: здесь — Файлы —...
Mistral-Large-Instruct-2407-IMat-GGUF
Иматричное квантование Llama.cpp для mistralai/Mistral-Large-Instruct-2407 Исходная модель: mistralai/Mistral-Large-Instruct-2407 Исходный тип dtype: BF16 (bfloat16) Квантизация: llama.cpp b3452 Набор данных...