Qwen3.8-27B-Uncensored-exl3-4bpw
EXL3 квантование orcarouter/Qwen3.8-27B-Uncensored, аблитерированная (отказ-удаленная) сборка Qwen/Qwen3.8-27B. 16 ГБ на диске — подходит для одной карты 24 ГБ...
Метка: exllamav3
GLM-5.3-Flash-Uncensored-EXL3-K2
Суб-4-битное квантование EXL3 (QTIP решетки) orcarouter/GLM-5.3-Flash-Uncensored-FP8, аблитерированная тонкая настройка zai-org/GLM-5.3-Flash (glm5next / Glm5NextForConditionalGeneration`). Насколько нам известно, первый суб-4-битный...
MiniMax-M2.5-exl3
Модель генерации текста Модальности:Генерация текста Задача: Генерация текста Автор: NeuroSenko Теги: exllamav3, exl3Лайков: 4 | Загрузок: 3 Открыть...
GLM-4.6-EXL3
Этот репозиторий содержит: — базовые кванты (3, 4, 5, 6, 8 бит) для Exllamav3 (с использованием случайных преобразований...
Qwen3-235B-A22B-Thinking-2507-exl3
Exllamav3 quantizations of Qwen/Qwen3-235B-A22B-Thinking-2507 2.10 bpw h6 59.287 GiB 2.80 bpw h6 78.295 GiB 3.60 bpw h6 100.116...
Qwen3-235B-A22B-exl3
Quantized using commit 95cfa72 of the dev branch of exllamav3. 2.25 bpw h6 63.375 GiB 3.00 bpw h6...
Qwen3-Next-80B-A3B-Instruct-exl3
Несколько бессмысленно больших квантов exllamav3 Qwen3-Next-80B-A3B-Instruct в дополнение к оптимизированным квантам Turboderp. Модальности:Генерация текста Области применения:Следование инструкциям Задача:...
MiniMax-M2.7-exl3
Квантование выполнялось с использованием exllamav3 v0.0.29 (коммит cb1a436). Исходная модель распространяется в формате FP8 (float8e4m3fn`), а не FP16/BF16...
Qwen3-235B-A22B-Instruct-2507-exl3_3.07bpw-h6-custom
Квантование Exllamav3 Qwen/Qwen3-235B-A22B-Instruct-2507. При этом квантовании используется ручная перекомпиляция для настройки битрейта отдельных тензоров в миксе, что вдохновлено...
Qwen3-235B-A22B-Instruct-2507-exl3
Квантование Exllamav3 Qwen/Qwen3-235B-A22B-Instruct-2507 2,25 бит/мин h6 63,377 ГиБ 3,00 бит/мин h6 83,800 ГиБ 4,00 бит/мин h6 111,013 ГиБ...