LWM-Text-256K-GGUF
— Создатель модели: LargeWorldModel — Исходная модель: LargeWorldModel/LWM-Text-256K MaziyarPanahi/LWM-Text-256K-GGUF содержит файлы модели формата GGUF для LargeWorldModel/LWM-Text-256K. Спасибо TheBloke...
Метка: quantized
WizardMath-7B-V1.1-Mistral-7B-Instruct-v0.2-slerp-GGUF
— Создатель модели: MaziyarPanahi — Исходная модель: MaziyarPanahi/WizardMath-7B-V1.1-Mistral-7B-Instruct-v0.2-slerp MaziyarPanahi/WizardMath-7B-V1.1-Mistral-7B-Instruct-v0.2-slerp-GGUF содержит файлы моделей формата GGUF для MaziyarPanahi/WizardMath-7B-V1.1-Mistral-7B-Instruct-v0.2-slerp. Спасибо TheBloke...
BASH-Coder-Mistral-7B-Mistral-7B-Instruct-v0.2-slerp-GGUF
— Создатель модели: MaziyarPanahi — Исходная модель: MaziyarPanahi/BASH-Coder-Mistral-7B-Mistral-7B-Instruct-v0.2-slerp MaziyarPanahi/BASH-Coder-Mistral-7B-Mistral-7B-Instruct-v0.2-slerp-GGUF содержит файлы моделей формата GGUF для MaziyarPanahi/BASH-Coder-Mistral-7B-Mistral-7B-Instruct-v0.2-slerp. Спасибо TheBloke...
Tess-XS-v1-3-yarn-128K-Mistral-7B-Instruct-v0.1-GGUF
— Создатель модели: MaziyarPanahi — Исходная модель: MaziyarPanahi/Tess-XS-v1-3-yarn-128K-Mistral-7B-Instruct-v0.1 MaziyarPanahi/Tess-XS-v1-3-yarn-128K-Mistral-7B-Instruct-v0.1-GGUF содержит файлы моделей формата GGUF для MaziyarPanahi/Tess-XS-v1-3-yarn-128K-Mistral-7B-Instruct-v0.1. Спасибо TheBloke...
phi-2-GGUF
— Создатель модели: microsoft — Исходная модель: microsoft/phi-2 MaziyarPanahi/phi-2-GGUF содержит файлы моделей формата GGUF для microsoft/phi-2. Спасибо TheBloke...
Noromaid-v0.4-Mixtral-Instruct-8x7b-Zloss_attn-4bit-moe-2bit-HQQ
Тензоры внимания 4-битные, потому что Mixtral повторно использует их для каждого эксперта — поэтому добавляется всего 0,4 ГБ,...
ornith-9b-GGUF
Орнит 1.0 9B, самоквантованный до GGUF с помощью Atomic Chat. Создан прямо на основе исходных весов DeepReinforce с...
Ornstein-3.5-9B-V2-GGUF
Квантование GGUF GestaltLabs/Ornstein-3.5-9B-V2 — пост-обучение с подкреплением (V2) Ornstein 3.5 9B. Каждый квант имеет родственную контрольную сумму .sha256,...
gemma-4-e4b-it-qat-OptiQ-4bit
> Создан на основе mlx-optiq, собственного набора инструментов MLX для квантования, точной настройки и обслуживания LLM локально на...
Mellum2-12B-A2.5B-Instruct-GGUF-Q6_K
Этот репозиторий содержит квантование GGUF Q6K JetBrains/Mellum2-12B-A2.5B-Instruct, готовое к работе с llama.cpp`, Ollama, LM Studio и другими GGUF-совместимыми...