> [!TIP] > Поддержите эту работу → · X · GitHub · Документ REAP · Cerebras REAP GGUF-квантование 0xSero/Qwen3.5-99B, 20% отсеченной экспертами модели Qwen3.5-122B MoE с использованием REAP. Протестировано на AMD Ryzen AI MAX+ 395 (Strix Halo), Radeon 8060S (gfx1151), LPDDR5X 128 ГБ. llama.cpp b8746, Vulkan RADV, мигающее внимание включено. > Q6K и Q80 частично разгружаются на ЦП, поскольку они превышают лимит GTT в 64 ГБ по умолчанию. Если GTT увеличить до 120 ГБ (конфигурация BIOS GART + modprobe), они будут работать на полной скорости графического процессора. Все кванты дают правильные ответы на арифметику (127*43=5461), исчисление (производное от x^3+2x^2-5x+7), формальную логику, эталонную семантику Python и фактический отзыв. Модель генерирует правильный код для всех проблем. Разница в баллах связана с извлечением кода из формата мышления, а не с качеством модели. См. полную карту модели для получения полных результатов тестов и методологии. Эта модель была разработана и протестирована на процессоре AMD Strix Halo (Ryzen AI MAX+ 395) с унифицированной памятью 128 ГБ. Он также работает на любой системе с достаточным количеством VRAM/RAM: — Strix Halo (64 ГБ GTT по умолчанию): Q4KM подходит полностью, Q6K/Q80 частичная разгрузка — Strix Halo (120 ГБ GTT увеличено): все кванты подходят полностью — 2 кластера Strix Halo (RPC):…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: 0xSero
Теги: gguf, expert-pruning, llama-cpp, moe, pruned, qwen3.5, reap, strix-halo
Лайков: 9 | Загрузок: 902
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
