Квантование сообщества EXL3 ornith-ai/Ornith-1.5-35B-A3B. Не официальный релиз Орнит. Большинство квантов EXL3 в моделях MoE используют переключатель -hq, который уделяет внимание и делится с экспертами небольшим увеличением битрейта (5 ударов в минуту). На этой архитектуре, которая является неправильным местом для сохранения битов: модель на 90% состоит из параметров маршрутизации-экспертов (256 экспертов, топ-8 маршрутизации), что является очень избыточным и дешевым для сжатия, в то время как магистраль внимания — в частности, проекции GatedDeltaNet (линейное внимание), которые образуют единственный информационный путь в 30 из 40 слоев — небольшая, но чрезвычайно чувствительная. Карта слоев, используемая здесь (популяризированная brandonmusic для GLM-5.2): — Маршрутизированные матрицы экспертов: 2.75 bpw, MCG codebook — Все остальное BF16: Проекции ввода-вывода GatedDeltaNet, полное внимание q/k/v/o, общие эксперты, вложения, lm_head, нормы, маршрутизатор — MTP draft layer at 4 bpw, vision tower BF16 — exllamav3 1.4.2 convert, MCG codebook, калибровка запасов (250 строк x 2048 токенов) — Точные битраты на модуль в quantizationconfig.json ` — Размер артефакта: 17 GB exllamav3ლ/modeldiff`
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: 0xSero
Теги: qwen3_5_moe, image-text-to-text, exl3, exllamav3, quantized, moe, tensor-parallel, conversational
Лайков: 3 | Загрузок: 75
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
