glm-4-9b-chat-GGUF
Некоторые из этих квантов (Q3KXL, Q4KL и т. д.) представляют собой стандартный метод квантования, в котором вложения и...
Метка: imatrix
Hermes-3-Llama-3.1-70B-lorablated-GGUF
Исходная модель: https://huggingface.co/mlabonne/Hermes-3-Llama-3.1-70B-lorablated Некоторые из этих квантов (Q3KXL, Q4KL и т. д.) представляют собой стандартный метод квантования, в...
Qwen2-Math-7B-Instruct-GGUF
👾 Программа хайлайтов моделей LM Studio Community. Выделение новых и заслуживающих внимания моделей сообществом. Присоединяйтесь к обсуждению в...
guns-and-roses-r1-GGUF
L кванты (или более), для развлечения/тестирования, вероятно, предпочтут кванты Бартовского или Мрадермахера, если они доступны. Исходная модель: https://huggingface.co/inflatebot/guns-and-roses-r1...
internlm2_5-20b-chat-GGUF
👾 Программа хайлайтов моделей LM Studio Community. Выделение новых и заслуживающих внимания моделей сообществом. Присоединяйтесь к обсуждению в...
L3.1-ClaudeMaid-4x8B-GGUF
Исходная модель: https://huggingface.co/xxx777xxxASD/L3.1-ClaudeMaid-4x8B, созданная с помощью https://huggingface.co/FantasiaFoundry/GGUF-Quantization-Script. Модели Q2KL, Q4KL, Q5KL, Q6KL используют выходные тензоры Q_8 и встраивание...
Arcee-Nova-GGUF
Спасибо kalomaze и Dampf за помощь в создании набора калибровочных данных imatrix. Спасибо ZeroWw за вдохновение для экспериментов...
Higgs-Llama-3-70B-GGUF
Исходная модель: https://huggingface.co/bosonai/Higgs-Llama-3-70B. Если размер модели превышает 50 ГБ, она будет разделена на несколько файлов. Чтобы загрузить их...
K2-Chat-GGUF
Если модель больше 50 ГБ, она будет разделена на несколько файлов. Чтобы загрузить их все в локальную папку,...
K2-Chat-IMat-GGUF
Исходная модель: LLM360/K2-Chat Исходный тип dtype: FP16 (float16) Квантизация: llama.cpp b3051 Набор данных IMatrix: здесь — Файлы —...