Qwen3-14B-3bit-SINQ
Этот репозиторий содержит официальную 3-битную квантованную версию модели Qwen3-14B с использованием метода SINQ (Sinkhorn-Normalized Quantization). Модель и метод...
Метка: compression
gpt-j-8bit-daily_dialogues
Эта версия hivemind/gpt-j-6B-8bit точно настроена на проанализированную версию набора данных ежедневных диалогов для эпохи. Его можно использовать как...
Qwen3-4B-PreSINQ-GGUF
Этот репозиторий содержит официальные версии модели Qwen3-4B, квантованные PreSINQ GGUF. Подробное объяснение стратегии PreSINQ можно найти в официальном...
GLM-4.7-REAP-268B-A32B-AWQ-4bit
𓌳 REAP𓌳 Эксперты: почему обрезка преобладает при однократном сжатии MoE Представляем GLM-4.7-REAP-268B-A32B, сжатый вариант GLM-4.7 с эффективным использованием...
cerebras_MiniMax-M2-REAP-162B-A10B-GGUF
Исходная модель: https://huggingface.co/cerebras/MiniMax-M2-REAP-162B-A10B Все кванты созданы с использованием опции imatrix с набором данных отсюда в сочетании с подмножеством...
GLM-4.6-REAP-252B-A32B-FP8
𓌳 REAP𓌳 Эксперты: почему обрезка преобладает при однократном сжатии MoE Представляем GLM-4.6-REAP-252B-A32B-FP8, сжатый вариант GLM-4.6-FP8 с эффективным использованием...
Qwen3-14B-4bit-ASINQ
Этот репозиторий содержит официальную 4-битную квантованную версию модели Qwen3-14B с использованием калиброванной версии метода SINQ (Sinkhorn-Normalized Quantization). SINQ...
Qwen3-32B-3bit-SINQ
Этот репозиторий содержит официальную 3-битную квантованную версию модели Qwen3-32B с использованием метода SINQ (Sinkhorn-Normalized Quantization), как представлено в...
GLM-4.7-Flash-REAP-23B-A3B-absolute-heresy
Это доработанная версия GLM-4.7-Flash-REAP-23B-A3B, созданная по заказу McG-221 с помощью механизма аблитерации Heretic (v1.1.0) компании P-E-W, объединенного с...
Qwen3-30B-A3B-Instruct-2507-REAM
Эта модель представляет собой сжатую версию Qwen/Qwen3-30B-A3B-Instruct-2507. Это достигается за счет сокращения количества экспертов на каждом уровне MoE...