Qwen1.5-MoE — это языковая модель MoE, основанная только на преобразователе и предназначенная только для декодера, предварительно обученная на большом объеме данных. Более подробную информацию можно найти в нашем блоге и репозитории GitHub. Qwen1.5-MoE использует архитектуру Mixture of Experts (MoE), в которой модели создаются из моделей с плотным языком. Например, Qwen1.5-MoE-A2.7B является переработанным из Qwen-1.8B. Всего он имеет 14,3B параметров и 2,7B активированных параметров во время выполнения. При достижении производительности, сравнимой с Qwen1.5-7B, ему требуется только 25% ресурсов обучения. Мы также заметили, что скорость вывода в 1,74 раза выше, чем у Qwen1.5-7B. Код Qwen1.5-MoE был в последних трансформерах Hugging Face, и мы советуем вам выполнить сборку из исходного кода с помощью команды pip install git+https://github.com/huggingface/transformers, иначе вы можете столкнуться со следующей ошибкой: Мы не советуем вам использовать модели базового языка для генерации текста. Вместо этого вы можете применить к этой модели пост-обучение, например, SFT, RLHF, продолжительное предварительное обучение и т. д.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Qwen
Теги: qwen2_moe, pretrained, moe, conversational, en, endpoints_compatible
Лайков: 221 | Загрузок: 83,973
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
