cerebras_GLM-4.7-REAP-218B-A32B-GGUF
Исходная модель: https://huggingface.co/cerebras/GLM-4.7-REAP-218B-A32B — llama.cpp — LM Studio — koboldcpp — Jan AI — Веб-интерфейс создания текста —...
Метка: compression
GLM-4.7-REAP-218B-A32B
𓌳 REAP𓌳 Эксперты: почему обрезка преобладает при однократном сжатии MoE Представляем GLM-4.7-REAP-218B-A32B, сжатый вариант GLM-4.7 с эффективным использованием...
Qwen3-Coder-REAP-363B-A35B
𓌳 REAP𓌳 Эксперты: почему сокращение преобладает при однократном сжатии MoE Представляем Qwen3-Coder-REAP-363B-A35B, сжатый вариант Qwen3-Coder-480B-A35B-Instruct с эффективным использованием...
Qwen3-14B-4bit-SINQ
Этот репозиторий содержит официальную 4-битную квантованную версию модели Qwen3-14B с использованием метода SINQ (Sinkhorn-Normalized Quantization), как представлено в...
Qwen3-1.7B-4bit-ASINQ
Этот репозиторий содержит официальную 4-битную квантованную версию модели Qwen3-1.7B с использованием калиброванной версии метода SINQ (Sinkhorn-Normalized Quantization). SINQ...
Qwen3-1.7B-4bit-SINQ
Этот репозиторий содержит официальную 4-битную квантованную версию модели Qwen3-1.7B с использованием метода SINQ (Sinkhorn-Normalized Quantization). SINQ — это...
Qwen3-32B-3bit-ASINQ
Этот репозиторий содержит официальную 3-битную квантованную версию модели Qwen3-32B с использованием калиброванной версии метода SINQ (Sinkhorn-Normalized Quantization). SINQ...
Qwen3-14B-3bit-ASINQ
Этот репозиторий содержит официальную 3-битную квантованную версию модели Qwen3-14B с использованием калиброванной версии метода SINQ (Sinkhorn-Normalized Quantization). SINQ...
Qwen3-14B-3bit-SINQ
Этот репозиторий содержит официальную 3-битную квантованную версию модели Qwen3-14B с использованием метода SINQ (Sinkhorn-Normalized Quantization). Модель и метод...
gpt-j-8bit-daily_dialogues
Эта версия hivemind/gpt-j-6B-8bit точно настроена на проанализированную версию набора данных ежедневных диалогов для эпохи. Его можно использовать как...