> ## ⚠️ Эти файлы НЕ загружаются в стандартный llama.cpp > Они используют собственные тензорные типы AMD RCMFPX из экспериментальной вилки > ciru-ai/ROCmFPX llama.cpp (сборка из исходного кода). > Для файлов, которые работают со стандартным llama.cpp/LM Studio/Ollama, используйте родственный репозиторий: > lmcoleman/Qwen3.6-27B-Fable-Fusion-711-MTP-MagicQuant-GGUF. Производная от Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP, квантованная с использованием гибридного эволюционного потензорного поиска MagicQuant и квантованная до собственных форматов AMD ROCmFPX (только для fork), настроенных для Strix Halo (gfx1151). Это производная от Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. Вся заслуга в архитектуре и весе базовой модели принадлежит первоначальным авторам. К этому производному применяется лицензия базовой модели. Квантование производится с использованием гибридного эволюционного потензорного квантования MagicQuant, основанного на методологии Magiccodingman: — Тензоры классифицируются по группам чувствительности (Вложения, Заголовок, Запрос, Ключ, Выход, FFN Up/Down, Эксперты MoE, Маршрутизатор) — Эволюционный поиск находит оптимальный тип квантования для каждой группы, балансируя размер и недоумение — Просматриваются целевые уровни Q4/Q5/Q6, и каждый из них отправляется только в том случае, если он соответствует место (см.…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: lmcoleman
Теги: llama.cpp, gguf, rocm, amd, strix-halo, gfx1151, rocmfpx, quantized
Лайков: 5 | Загрузок: 4,806
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
