Чистая и эффективная реализация архитектуры DeepSeek Mixture of Experts (MoE) в PyTorch. Этот репозиторий представляет собой упрощенную версию архитектуры, описанной в документе DeepSeek, с упором на основные инновации, которые делают их подход MoE уникальным. Этот репозиторий является частью серии, реализующей ключевые архитектурные инновации из статьи DeepSeek. Полную серию см. в разделе «Связанные реализации». Архитектуры Mixed of Experts (MoE) позволяют резко масштабировать параметры модели, сохраняя при этом эффективность вычислений за счет активации только подмножества параметров для любого заданного входного сигнала. Подход DeepSeek вводит в архитектуру MoE несколько ключевых инноваций, которые повышают производительность и эффективность. — Гибридная экспертная структура: объединяет общих экспертов (обработка всех токенов) с маршрутизируемыми экспертами (обработка определенных токенов). — Эффективная маршрутизация Top-K: расчет сходства между токенами и экспертами на основе сходства скалярных произведений. — Многоуровневая балансировка нагрузки: каскадные вспомогательные потери на уровнях эксперта, устройства и связи. — Маршрутизация с ограничением устройств: ограничивает затраты на связь в сценариях распределенного обучения. — Стратегия удаления токенов: оптимизируйте…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: bird-of-paradise
Теги: deepseek-moe, mixture-of-experts, moe, efficient-transformer, en
Лайков: 5 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
