4-разрядный квант ROCmFP4STRIX Kwaipilot/KAT-Coder-V2.5-Dev с головкой MTP (многотокенного предсказания) модели, привитой обратно в Q80, чтобы он мог самоспецифицироваться. Построено и измерено на AMD Ryzen AI Max 395 (Strix Halo, gfx1151, 128 ГБ унифицированной памяти). ROCmFP4 использует тензорные типы GGUF 100/101, о которых не знает вышестоящий llama.cpp. Вам нужен charlie12345/ROCmFPX. Запас gguf-py также не может разобрать его (используйте gguf-py вилки для проверки). Если у вас нет этого форка, этот файл не для вас — вместо этого возьмите сборку Q4KM или Q6_K базовой модели. — —spec-draft-n-max 1 — это то, что было настроено здесь. Головка MTP предсказывает один токен вперед; более глубокая разработка стоит больше в проверке, чем она возвращается на этом оборудовании. — —reasoning-format deepseek —reasoning-budget 0 to suppress thinking. Не используйте —reasoning-format none, если вы после обработки вывода: none говорит llama.cpp не разбирать теги think, поэтому он остается встроенным в содержимое и повредит все, что извлекает код из ответа. Вместо этого с глубоким поиском остатки приземляются в контенте рассуждений. Ожидайте ~72 символа остатка, который не может быть сведен к нулю. То же самое оборудование, —параллельное 1, жадное, размышляющее (проверенное зондом), одиночные запуски. -…
Модальности:
Генерация текста
Области применения:
Диалог / чат Генерация кода
Задача: Генерация текста
Автор: raulvidis
Теги: gguf, rocm, rocmfp4, strix-halo, gfx1151, speculative-decoding, mtp, endpoints_compatible
Лайков: 3 | Загрузок: 54
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
