12,87 ГБ, один файл, mmap-run — и 105 токенов/с декодируются на одной карте. Транскодирование EschaLabs/Qwen3.6-35B-A3B-Escha-W2 в контейнер CMF, поэтому он работает на движке cortiq: один двоичный, без Python, без CUDA-инструментария — Vulkan, Metal или простой CPU из тех же байтов. Кредит там, где это необходимо: 2-разрядные веса — это работа Escha Labs. Их кодек eschamoe (2-разрядные маршрутизируемые эксперты с лестницами масштабирования на эксперта, плотные слои int8) — это то, что ПОЗВОЛЯЕТ MoE 35B поместиться в 12 ГБ при этом качестве. Этот репозиторий повторно выражает эти веса в макетах CMF; он не пересчитывает исходный bf16 и не претендует на улучшение качества по сравнению с ними. 1. Каждый маршрутизируемый эксперт был восстановлен до bf16 через собственное ядро Escha (PackedScaledExpertLinear, идентификационный зонд), а не путем повторной реализации своего битового пакета — их кодек остается источником истины. Плотные слои int8 были декантированы с сохраненными чешуйками. 2. Эта контрольная точка bf16 прошла через cortiq convert —quant q2tp, смешанный профиль: маршрутизируемый и общий экспертный шлюз/вверх на 2 бита (q2tp), экспертный вниз и весь скелет на 4 бита (q4tp), отражающий собственный 2/3-битный сплит Escha на один бит вверх. 3. q2tp — это новый макет CMF, добавленный для этой модели: 4 уровня (±0,5,…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: infosave
Теги: cortiq, cmf, moe, 2-bit, quantization, q2tp, quantized
Лайков: 3 | Загрузок: 1,527
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
