Метка: cca-attention

JANGQ-AI/ZAYA1-8B-JANGTQ4

ZAYA не является стандартной архитектурой mlxlm. Он чередует уровни внимания CCA и уровни MoE верхнего уровня 1. Используйте...