fuse-1-Lite-4bit
> 4-bit NF4 quantized version of fuse-1 Lite. 3.36 GB VRAM — runs on T4, RTX 3060, and...
> 4-bit NF4 quantized version of fuse-1 Lite. 3.36 GB VRAM — runs on T4, RTX 3060, and...
GGUF quantization of ressl/Laguna-S-2.1-Uncensored, derived from poolside/Laguna-S-2.1. Original uncensoring work by Robert Ressl — full model card and...
Ablation-guided ‘heterogeneous’ GGUF quantization of DeepSeek-V4-Flash-0731. 95.8 GB single file. Fits 128 GB memory, leaving ~32 GB for...
DeepSeek-V4-Flash-0731 compressed from 155.42 GiB to 91.93 GiB (1.69×) so it fits and serves on ONE NVIDIA DGX...
NVFP4 маршрутизируемое экспертное квантование deepseek-ai/DeepSeek-V4-Flash-0731, полученное с помощью собственного опубликованного потока NVIDIA Model-Optimizerdeepseekv4 `(modelopt 0.45.0). На момент публикации...
12,87 ГБ, один файл, mmap-run — и 105 токенов/с декодируются на одной карте. Транскодирование EschaLabs/Qwen3.6-35B-A3B-Escha-W2 в контейнер CMF,...
Эта модель представляет собой квантование только по массе int4 с group_size 128 и симметричным квантованием DavidAU/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP, сгенерированным AutoRound....
> Созданный с помощью mlx-optiq, набор инструментов MLX-native для квантования, точной настройки и обслуживания LLM локально на Apple...
> Созданный с помощью mlx-optiq, набор инструментов MLX-native для квантования, точной настройки и обслуживания LLM локально на Apple...
A 9–10 GB mixture-of-experts specialist derived from google/gemma-4-26B-A4B-it by pruning 25 % of routed experts with routing-aware REAP...