Оказывается, вы можете разделить отдельные слои MLP плотной языковой модели на равные группы экспертов. Что я здесь сделал: — Разделил прогнозы MLP (ворота, вниз, проект) на необходимое количество экспертов (в данном случае я просто выбрал 8 экспертов). — Умножьте значения параметров для понижающей проекции на общее количество экспертов (чтобы величина выходных сигналов активации, при линейном усреднении, оказалась эквивалентной) — Инициализируйте слои маршрутизации нулями, чтобы использование экспертов было полностью равным по умолчанию и не имело непреднамеренных смещений вследствие случайной инициализации, выполняемой обычным способом. В результате модель ведет себя полностью согласованно, когда активированы все 8 экспертов (т. е. экспертный ток равен 8). Меня интересует перспектива продолжения ее обучения таким образом, чтобы она могла естественным образом обрабатывать переменное количество экспертов и научиться балансировать функции. Если это сработает, мы потенциально сможем научить использованию меньшего количества вычислений для токенов, которые тривиально предсказать, и использованию большего количества, когда это необходимо.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: kalomaze
Теги: gguf, mixtral, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 450
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
