Qwen1.5-MoE — это языковая модель MoE, основанная только на преобразователе и предназначенная только для декодера, предварительно обученная на большом объеме данных. Более подробную информацию можно найти в нашем блоге и репозитории GitHub. Qwen1.5-MoE использует архитектуру Mixture of Experts (MoE), в которой модели создаются из моделей с плотным языком. Например, Qwen1.5-MoE-A2.7B является переработанным из Qwen-1.8B. Всего он имеет 14,3 млрд параметров и 2,7 млрд активированных параметров во время выполнения, обеспечивая производительность, сравнимую с Qwen1.5-7B, но требует всего 25% ресурсов обучения. Мы также заметили, что скорость вывода в 1,74 раза выше, чем у Qwen1.5-7B. Мы предварительно обучили модели на большом объеме данных, а затем обучили модели как с контролируемой точной настройкой, так и с прямой оптимизацией предпочтений. Код Qwen1.5-MoE был в последних преобразователях Hugging Face, и мы советуем вам выполнить сборку из исходного кода с помощью команды pip install git+https://github.com/huggingface/transformers, иначе вы можете столкнуться со следующей ошибкой: Здесь представлен фрагмент кода с applychattemplate, который покажет вам, как загрузить токенизатор и модель и как генерировать содержимое. Если вы столкнулись с переключением кода или другими неприятными случаями, советуем вам воспользоваться нашим…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Qwen
Теги: qwen2_moe, chat, conversational, en, endpoints_compatible, 4-bit, gptq
Лайков: 50 | Загрузок: 439
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
