INVALID LANGUAGE PAIR SPECIFIED. EXAMPLE: LANGPAIR=EN|IT USING 2 LETTER ISO OR RFC3066 LIKE ZH-CN. ALMOST ALL LANGUAGES SUPPORTED BUT SOME MAY HAVE NO CONTENT Hy3 Chadrock FPX-IFP2 MTP — это ориентированный на скорость и важность квант Hy3 от Tencent: 295B-общая 21B-активная модель MoE с собственным 3.8B-параметрическим MTP-слоем. Он создан для систем AMD с большой памятью, где важны трафик модели, емкость KV, быстрое повторное использование, качество агента и реальная сквозная задержка. Релиз составляет 90,761 ГБ для пяти шардов GGUF. Он соответствует протестированному рабочему профилю 64K с целевым и MTP-осадочным KV как при q80 `, так и на системе 128 GiB Strix Halo UMA. Его кэш подсказок только на диске сохраняет состояние многократного использования на SSD, вместо того, чтобы потреблять несколько дополнительных гиБ дефицитной системной ОЗУ. Короткая версия: FPX-IFP2 сохранил необычайно сильное поведение агента/инструмента HY3, превзошел свой невзвешенный контроль по полной оценке Tool-Eval, улучшил большинство парных тестов латентности, остался меньше, чем IQ2M,…
Модальности:
Генерация текста
Области применения:
Диалог / чат Вызов функций (Tool use)
Задача: Генерация текста
Автор: jcbtc
Теги: llama.cpp, gguf, hy3, hunyuan, moe, 295b, 21b-active, mtp
Лайков: 3 | Загрузок: 139
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
