Проект: https://amanpriyanshu.github.io/GPT-OSS-MoE-ExpertFingerprinting/ Это сокращенный вариант модели OpenAI GPT-OSS-20B, уменьшенный до 7 экспертов на уровень на основе шаблонов активации из набора данных AmanPriyanshu/GPT-OSS-20B MoE Expert Activations. Мы проанализировали решения маршрутизаторов по критериям оценки, чтобы выявить и удержать экспертов, наиболее подходящих для всех задач. ⚠️ Экспериментальная модель. Это экспериментальная сокращенная модель, которая может работать некорректно. Перед использованием проверьте примеры ниже, чтобы убедиться, что выходные данные соответствуют вашим потребностям. Этот подход сокращения уменьшает размер модели, пытаясь сохранить производительность в целевом домене. Модели смешанных экспертов содержат несколько специализированных подсетей (экспертов) на каждом уровне. Во время вывода для каждого токена активируется только часть экспертов. Сокращение экспертов включает в себя: 1. Анализ шаблонов использования: отслеживание того, какие эксперты активируются чаще всего для конкретных задач. 2. Удаление недостаточно используемых экспертов: удаление экспертов с низким уровнем активации для целевого домена. 3. Сохранение функциональности маршрутизатора: поддержание механизма маршрутизации с меньшим количеством доступных экспертов. — Выбор на основе данных: используемые шаблоны активации из всех оценок…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: AmanPriyanshu
Теги: gpt_oss, mixture-of-experts, moe, expert-pruning, gpt-oss, openai, reasoning, all
Лайков: 26 | Загрузок: 1,941
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
