Квантованная версия Jackrong/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled — модель, ориентированная на рассуждения, основанная на Claude 4.6 Opus. Квантование с использованием NVIDIA ModelOpt с весами NV-FP4 для слоев MLP и статической калибровкой FP8 для кэша KV. Визуальный кодер (компоненты VLM) и головка LM сохраняют первоначальную точность. — ✅ Квантованный: LanguageModel.layers..mlp. (проекции ворот/вверх/вниз) — NV-FP4 — ✅ Квантование: selfattn.k/vbmmquantizer на стандартных слоях внимания — Кэш FP8 KV — ❌ Пропущено: model.visual. — визуальный кодировщик сохранен на уровне bf16 (слишком чувствителен к квантованию) — ❌ Пропущено: слои Lineattn (стиль Mamba) — нестандартная архитектура, исключается автоматически — ❌ Пропускается: lmhead, mtp.layers.0` — стандартная практика, исключается автоматически > Примечание. NV-FP4 требует аппаратной поддержки тензорных ядер FP4. Полностью поддерживаются RTX 4090, RTX 5070 Ti и более новые графические процессоры Ada/Hopper. Старые архитектуры вернутся к эмуляции FP8 или FP16. Jackrong/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled — это контролируемая точная настройка Qwen3.5-9B с использованием данных дистилляции цепочки мыслей из взаимодействий Claude 4.6 Opus. Ключевые свойства базовой модели: — Архитектура: Qwen3.5-9B плотная + визуальная…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: Alexzander85
Теги: qwen3_5, qwen, reasoning, chain-of-thought, quantized, nvfp4, fp8, tensorrt-llm
Лайков: 9 | Загрузок: 227
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
