Gemma-2-9B-It-SPPO-Iter3-IMat-GGUF
Иматричное квантование Llama.cpp UCLA-AGI/Gemma-2-9B-It-SPPO-Iter3 Исходная модель: UCLA-AGI/Gemma-2-9B-It-SPPO-Iter3 Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp b3311 Набор данных IMatrix:...
Метка: imatrix
Athena-70B-L3-i1-GGUF
взвешенные/иматричные кванты https://huggingface.co/AiMavenAi/Athena-70B-L3 статические кванты доступны по адресу https://huggingface.co/mradermacher/Athena-70B-L3-GGUF. Если вы не уверены, как использовать файлы GGUF, обратитесь...
Smaug-Llama-3-70B-Instruct-32K-GGUF
Исходная модель: https://huggingface.co/abacusai/Smaug-Llama-3-70B-Instruct-32K. Если размер модели превышает 50 ГБ, она будет разделена на несколько файлов. Чтобы загрузить их...
opus-v1.4-70b-llama3-gguf
Модели (управляемого) написания рассказов и ролевых игр. Другие кванты Другие модели — руководство по подсказкам Opus V1 со...
Tess-v2.5-Phi-3-medium-128k-14B-GGUF
Исходная модель: https://huggingface.co/migtissera/Tess-v2.5-Phi-3-medium-128k-14B. Если размер модели превышает 50 ГБ, она будет разделена на несколько файлов. Чтобы загрузить их...
DeepSeek-V2-Lite-IMat-GGUF
Иматричное квантование Llama.cpp deepseek-ai/DeepSeek-V2-Lite Исходная модель: deepseek-ai/DeepSeek-V2-Lite Исходный тип dtype: BF16 (bfloat16) Квантизация: llama.cpp https://github.com/ggerganov/llama.cpp/pull/7519 Набор данных IMatrix:...
Mistral-7B-Instruct-v0.3-imatrix-GGUF
Кванты GGUF https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.3 с вычислениями матрицы важности выполняются в group10merged.txt для уменьшения недоумения. Количественно определено с помощью llama.cpp...
Phi-3-medium-128k-instruct-iMat-GGUF
— Требуется последняя версия мастера llama.cpp; — Кванты выполняются с использованием матрицы важности для уменьшения потерь при квантовании...
Meta-Llama-3-120B-Instruct-GGUF
Исходная модель: https://huggingface.co/mlabonne/Meta-Llama-3-120B-Instruct Все количественные расчеты выполнены с использованием опции imatrix с набором данных, предоставленным Kalomaze здесь. Если...
Tess-2.0-Llama-3-8B-GGUF
Исходная модель: https://huggingface.co/migtissera/Tess-2.0-Llama-3-8B. Все кванты выполнены с использованием опции imatrix с набором данных, предоставленным Kalomaze здесь. Если модель...