Sparse-Llama-3.1-8B-2of4-GGUF
Original model: https://huggingface.co/neuralmagic/Sparse-Llama-3.1-8B-2of4 Some of these quants (Q3KXL, Q4KL etc) are the standard quantization method with the embeddings...
Метка: sparsity
Sparse-Llama-3.1-8B-ultrachat_200k-2of4-quantized.w4a16
— Model Architecture: Llama-3.1-8B — Input: Text — Output: Text — Model Optimizations: — Sparsity: 2:4 — Weight...
Sparse-Llama-3.1-8B-gsm8k-2of4-FP8-dynamic
— Model Architecture: Llama-3.1-8B — Input: Text — Output: Text — Model Optimizations: — Sparsity: 2:4 — Weight...
Sparse-Llama-3.1-8B-2of4-GGUF
This is quantized version of neuralmagic/Sparse-Llama-3.1-8B-2of4 created using llama.cpp — Model Architecture: Llama-3.1-8B — Input: Text — Output:...
Sparse-Llama-3.1-8B-2of4
В моделях Sparse-Llama-3.1 используется полуструктурированная разреженность 2:4, что позволяет увеличить размер модели в 2 раза и сократить объем...