Иматричное квантование Llama.cpp CohereForAI/c4ai-command-r-plus-08-2024 Исходная модель: CohereForAI/c4ai-command-r-plus-08-2024 Исходный тип dtype: FP16 (float16) Квантование: llama.cpp b3645 Набор данных IMatrix:...
> [!NOTE] > Если вы ищете кванты до версии llama.cpp PR #8676, вы можете найти их здесь, в...
Иматричное квантование Llama.cpp deepseek-ai/DeepSeek-Coder-V2-Instruct Исходная модель: deepseek-ai/DeepSeek-Coder-V2-Instruct Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp b3166 Набор данных IMatrix:...
— Создатель модели: TroyDoesAI — Исходная модель: TroyDoesAI/Phi-3-Context-Obedient-RAG MaziyarPanahi/Phi-3-Context-Obedient-RAG-GGUF содержит файлы модели формата GGUF для TroyDoesAI/Phi-3-Context-Obedient-RAG. GGUF —...
Мы представляем модель большого языка Meltemi-7B-Instruct-v1 (LLM), доработанную версию Meltemi-7B-v1 для инструкций. Квантованная версия была создана с использованием...
— Создатель модели: HuggingFaceH4 — Исходная модель: HuggingFaceH4/zephyr-7b-gemma-v0.1 MaziyarPanahi/zephyr-7b-gemma-v0.1-GGUF содержит файлы моделей формата GGUF для HuggingFaceH4/zephyr-7b-gemma-v0.1. Спасибо TheBloke...
— Создатель модели: MaziyarPanahi — Исходная модель: MaziyarPanahi/Calme-7B-Instruct-v0.1.1 MaziyarPanahi/Calme-7B-Instruct-v0.1.1-GGUF содержит файлы модели формата GGUF для MaziyarPanahi/Calme-7B-Instruct-v0.1.1. Спасибо TheBloke...
Если они вам понравились, ознакомьтесь с работой GGUF-IQ-Imatrix-Quantization-Script от FantasiaFoundry. Это расшифровывается как «Матрица важности» — метод, используемый...
Использовать их пресеты для SillyTavern важно из-за своеобразного оперативного форматирования этой модели. А вот предустановленные сэмплеры генерации текста...
Если вы хотите добавить какое-либо конкретное квантование, не стесняйтесь спрашивать. Для создания этой модели использовалась следующая конфигурация YAML:...
