> [!TIP] > Поддержите эту работу → · X · GitHub · Документ REAP · Cerebras REAP 20% экспертный вариант Qwen3.5-122B-A10B с использованием REAP (очистка активации с улучшенной маршрутизацией). Средний потенциал сохраняется: 97,9% после удаления 20% экспертов. Важно: используйте флаг —language-model-only — это текстовая контрольная точка, удаленная из мультимодальной базовой модели. REAP (очистка активации с улучшенной маршрутизацией) удаляет наименее активированных экспертов из моделей MoE, сохраняя при этом критически важные возможности. Он использует шаблоны активации маршрутизатора из набора калибровочных данных для идентификации ненужных экспертов со специальной защитой от критически важного для безопасности поведения. Стало возможным благодаря NVIDIA · Технология TNG · Lambda · Prime Intellect · Hot Aisle.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: 0xSero
Теги: qwen3_5_moe, image-text-to-text, expert-pruning, moe, pruned, qwen3.5, reap, conversational
Лайков: 5 | Загрузок: 141
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
