Квантование Exllamav3 Qwen/Qwen3-235B-A22B-Instruct-2507. При этом квантовании используется ручная перекомпиляция для настройки битрейта отдельных тензоров в миксе, что вдохновлено работой Ubergarm над большими моделями MoE с использованием GGUF. Он основан на выводе о том, что сохранение более высокой точности внимания и общего эксперта (в этой модели нет общего эксперта) позволяет поддерживать приемлемое качество, несмотря на очень агрессивное квантование маршрутизируемых экспертов. В частности, мы используем 5 бит для тензоров внимания и 3 бита для маршрутизируемых экспертов, чтобы создать оптимизированный микс, предназначенный для размещения в пределах 96 ГБ видеопамяти на одном безголовом RTX PRO 6000 с PYTORCHCUDAALLOCCONF=backend:cudaMallocAsync`. Квантованные тензоры взяты из: — MikeRoz/Qwen3-235B-A22B-Instruct-2507-exl3 — Bullerwins/Qwen3-235B-A22B-Instruct-2507-exl3-5.0bpw Недоумение викитекста, оцененное с помощью eval/ppl.py exllamav3: дополнительные метрики через eval/modeldiff.py` любезно предоставлено турбодерпом:
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: Doctor-Shotgun
Теги: exllamav3, qwen3_moe, conversational, exl3
Лайков: 6 | Загрузок: 2
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
