Codestral-22B-v0.1-iMat-GGUF
— Includes tokenizer fixes that were bugged in the initial version — quants done with an importance matrix...
Метка: importance-matrix
Meta-Llama-3-70B-Instruct-iMat-GGUF
— NOT Updated for new pre-tokenizer fixes (yet), I recommend using bartowski’s quants. https://huggingface.co/bartowski/Meta-Llama-3-70B-Instruct-GGUF — quants done with...
Marco-DeepResearch-8B-i1-GGUF
Квантованные версии AIDC-AI/Marco-DeepResearch-8B с матрицей важности (imatrix) GGUF для использования с llama.cpp и совместимыми механизмами вывода. Для стандартных...
Llama-3-8B-Instruct-Gradient-1048k-iMat-GGUF
— Реквантован для нового выпуска от 03.05.2024. — Обновлены последние исправления предварительного токенизатора bpe https://github.com/ggerganov/llama.cpp/pull/6920 — квантования выполняются...
Meta-Llama-3-8B-Instruct-iMat-GGUF
— Обновлены последние исправления предварительного токенизатора bpe https://github.com/ggerganov/llama.cpp/pull/6920 — квантования выполняются с использованием матрицы важности для уменьшения потерь...
Qwen3-coder-REAP-25B-A3B-Rust-GGUF
Этот репозиторий предоставляет высокоточные квантованные версии модели Qwen3-Coder-REAP-25B-A3B с пользовательской матрицей важности, созданной Em-80 и специально оптимизированной для...