Квантование GGUF Qwen/Qwen3.8-Flash-Next, 512-экспертной модели смеси экспертов с 262 144-токенами контекста и ввода изображения. Он составляет в среднем 4,081 бита на вес. Это тот же файл, что и boxrunner/Qwen3.8-Flash-Next-mixC-GGUF (карта C) с одним изменением: ворота маршрутизируемых экспертов и проекции вверх — IQ3S вместо IQ2XXS. Любой другой тензор идентичен по байту отображению C. Routed-expert down — IQ4NL, таблица n-грамм — IQ4NL, а остальное — Q5K, Q6K и Q8_0. Все 24 576 экспертов вместе берут 53,3 ГБ, поэтому на 64 ГБ Mac они не все сразу умещаются в памяти. Карта C do (40,4 ГиБ). Две части были разрезаны gguf-сплитом llama.cpp. Поместите их в одну папку и откройте часть 1; движок сам найдет часть 2. llama-gguf-split —merge превращает их обратно в один файл. Проектор и черновая головка — это те же файлы, что и в репозитории карты C. Вам нужно llama.cpp в commit 73a43d1f или более поздней версии, первой с этой архитектурой (qwen4exp). На 64 ГБ Mac этот файл не помещается в GPU-память llama.cpp. Он загружается, затем первое вычисление завершается неудачей с недостаточной памятью, с черновой головкой или без нее. Мы не запускали его на Mac с большим объемом памяти. На 64 ГБ Mac используйте карту C с llama.cpp. С…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: boxrunner
Теги: gguf, qwen, moe, mixed-precision, speculative-decoding, endpoints_compatible, imatrix, conversational
Лайков: 3 | Загрузок: 18,747
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
