Phi-mini-MoE — это облегченная модель «Смесь экспертов» (MoE) с 7,6 млрд общих параметров и 2,4 млрд активированных параметров. Он сжимается и извлекается из базовой модели, используемой Phi-3.5-MoE и GRIN-MoE, с использованием подхода SlimMoE, а затем подвергается постобучению посредством контролируемой точной настройки и прямой оптимизации предпочтений для следования инструкциям и безопасности. Модель обучена на синтетических данных Phi-3 и отфильтрованных общедоступных документах с упором на высококачественный, насыщенный аргументами контент. Он входит в серию SlimMoE, которая включает меньший вариант Phi-tiny-MoE с общим количеством 3,8B и 1,1B активированными параметрами. Рекомендации: 📖 SlimMoE 📖 Технический отчет Phi-3 📖 GRIN-MoE Модель предназначена для коммерческого и исследовательского использования на английском языке. Модель обеспечивает использование систем и приложений искусственного интеллекта общего назначения, которым требуются среды с ограниченным объемом памяти/вычислений и сценарии с ограниченной задержкой. Наши модели не разрабатываются и не оцениваются специально для всех последующих целей. Разработчики должны учитывать общие ограничения языковых моделей при выборе вариантов использования, а также оценивать и снижать точность, безопасность и качество перед использованием в конкретном последующем сценарии использования, особенно для…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: microsoft
Теги: phimoe, conversational, custom_code, en
Лайков: 32 | Загрузок: 106,680
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
