Унифицированная квантованная версия FP8 Jackrong/Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled — модель Qwen3.5-27B, очищенная от рассуждений Claude 4.6 Opus. ~29 ГБ на диске (~27 ГБ во видеопамяти). Квантование FP8 практически без потерь с ухудшением запутанности всего на 1,4% по сравнению с BF16. Рекомендуемый графический процессор: NVIDIA RTX PRO 6000 (96 ГБ) или другие графические процессоры с видеопамятью >= 48 ГБ. > Для графических процессоров 32 ГБ (RTX 5090): вместо этого используйте вариант смешанной точности NVFP4 (~25 ГБ, соответствует используемому контексту на одном 5090). Унифицированное динамическое квантование FP8 W8A8 с использованием llm-compressor v0.10.1, сохраненное в формате сжатых тензоров. Данные калибровки не требуются — весовые шкалы вычисляются статически для каждого канала, шкалы активации рассчитываются динамически для каждого токена во время вывода. Qwen3.5-27B использует гибридную архитектуру внимания DeltaNet + softmax с полным интервалом = 4: Ключевые параметры архитектуры: — Скрытый размер: 5120 — Заголовки внимания: 24 (запрос), 4 (KV, GQA) — Размер заголовка: 256 — Заголовки DeltaNet: 16 ключей, 48 значений (по 128 значений каждый) — Промежуточный MLP: 17 408 — Словарь: 248 320 — Максимальное количество вложений позиций: 262 144 Только 16 из 64 слоев требуют кэша KV — 48 слоев DeltaNet используют рекуррентное состояние фиксированного размера, которое не увеличивается с…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: mconcat
Теги: qwen3_5, image-text-to-text, qwen3.5, reasoning, quantized, fp8, compressed-tensors, deltanet
Лайков: 17 | Загрузок: 51,312
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
