Kimi-K2-Instruct-quantized.w4a16
— Архитектура модели: смесь экспертов (MoE) — Входные данные: текст/изображение — Выходные данные: текст — Оптимизация модели: —...
Метка: quantized
Qwen3-32B-quantized.w4a16
— Архитектура модели: Qwen3ForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Весовое квантование:...
Phi-4-mini-instruct-GGUF
— Создатель модели: microsoft — Исходная модель: microsoft/Phi-4-mini-instruct MaziyarPanahi/Phi-4-mini-instruct-GGUF содержит файлы моделей формата GGUF для microsoft/Phi-4-mini-instruct. GGUF —...
Mistral-Small-24B-Instruct-2501-GGUF
— Создатель модели: mistralai — Исходная модель: mistralai/Mistral-Small-24B-Instruct-2501 MaziyarPanahi/Mistral-Small-24B-Instruct-2501-GGUF содержит файлы моделей формата GGUF для mistralai/Mistral-Small-24B-Instruct-2501. GGUF —...
DeepSeek-V2-Lite-Chat-IMat-GGUF
Иматричное квантование Llama.cpp deepseek-ai/DeepSeek-V2-Lite-Chat Исходная модель: deepseek-ai/DeepSeek-V2-Lite-Chat Исходный тип dtype: BF16 (bfloat16) Квантование: llama.cpp fork PR 7519 Набор...
Mistral-7B-Instruct-Aya-101-GGUF
— Создатель модели: MaziyarPanahi — Исходная модель: MaziyarPanahi/Mistral-7B-Instruct-Aya-101 MaziyarPanahi/Mistral-7B-Instruct-Aya-101-GGUF содержит файлы моделей формата GGUF для MaziyarPanahi/Mistral-7B-Instruct-Aya-101. Спасибо TheBloke...
Ornstein-3.6-27B-GGUF
Квантование GGUF GestaltLabs/Ornstein-3.6-27B — плотная мультимодальная тонкая настройка Qwen 3.6 27B с гибридной линейной + полным вниманием. Я...
nemotron3-nano-nvfp4-w4a16
> Примечание. Эта модель оптимизирована для графических процессоров Blackwell (SM121). Для H100/A100 рассмотрите версию BF16 с нашим многоарочным...
DeepSeek-R1-0528-quantized.w4a16
— Архитектура модели: DeepseekV3ForCausalLM — Входные данные: текст — Выходные данные: текст — Оптимизация модели: — Квантование активации:...
gemma-3-1b-it-GGUF
— Создатель модели: google — Исходная модель: google/gemma-3-1b-it MaziyarPanahi/gemma-3-1b-it-GGUF содержит файлы моделей формата GGUF для google/gemma-3-1b-it. GGUF —...