Qwen3-235B-A22B-Thinking-2507-exl3
Exllamav3 quantizations of Qwen/Qwen3-235B-A22B-Thinking-2507 2.10 bpw h6 59.287 GiB 2.80 bpw h6 78.295 GiB 3.60 bpw h6 100.116...
Exllamav3 quantizations of Qwen/Qwen3-235B-A22B-Thinking-2507 2.10 bpw h6 59.287 GiB 2.80 bpw h6 78.295 GiB 3.60 bpw h6 100.116...
Quantized using commit 95cfa72 of the dev branch of exllamav3. 2.25 bpw h6 63.375 GiB 3.00 bpw h6...
.container-dark { семейство шрифтов: -apple-system, BlinkMacSystemFont, «Segoe UI», Roboto, «Helvetica Neue», Arial, без засечек; высота строки: 1,6; цвет:...
Это всего лишь быстрое сочетание кванта 2,25 бита в неделю с вниманием, плотными слоями и общими экспертами в...
Несколько бессмысленно больших квантов exllamav3 Qwen3-Next-80B-A3B-Instruct в дополнение к оптимизированным квантам Turboderp. Модальности:Генерация текста Области применения:Следование инструкциям Задача:...
Квантование выполнялось с использованием exllamav3 v0.0.29 (коммит cb1a436). Исходная модель распространяется в формате FP8 (float8e4m3fn`), а не FP16/BF16...
Квантование Exllamav3 Qwen/Qwen3-235B-A22B-Instruct-2507. При этом квантовании используется ручная перекомпиляция для настройки битрейта отдельных тензоров в миксе, что вдохновлено...
Кванты EXL3 для nvidia/Llama-33-Nemotron-Super-49B-v15 с использованием exllamav3 для квантования. Модальности:Генерация текста Задача: Генерация текста Автор: ArtusDev Теги: nvidia,...
Квантование Exllamav3 Qwen/Qwen3-235B-A22B-Instruct-2507 2,25 бит/мин h6 63,377 ГиБ 3,00 бит/мин h6 83,800 ГиБ 4,00 бит/мин h6 111,013 ГиБ...
Кванты EXL3 для mistralai/Devstral-Small-2507 с использованием exllamav3 для квантования. На основе HF-конверсии базовой модели Devstral компанией unsloth: unsloth/Devstral-Small-2507....