kai-os_Carnice-V2-27b-GGUF
Original model: https://huggingface.co/kai-os/Carnice-V2-27b — llama.cpp — ramalama — LM Studio — koboldcpp — Jan AI — Text Generation...
Original model: https://huggingface.co/kai-os/Carnice-V2-27b — llama.cpp — ramalama — LM Studio — koboldcpp — Jan AI — Text Generation...
8-битное симметричное квантование AWQ kai-os/Carnice-9b, оптимизированное для графических процессоров Ampere (серия RTX 30) с vLLM. kai-os/Carnice-9b — это...
This repo is a straight MLX oQ8 quant of kai-os/Carnice-27b for local Apple Silicon inference. No other edits,...
Кванты GGUF для llama.cpp, Ollama и LM Studio. Поставлено пять квантов — выбирайте по бюджету оперативной памяти. —...