LINs-lab/DynMoE-Phi-2-2.7B - Каталог нейросетей
Генерация текста

LINs-lab/DynMoE-Phi-2-2.7B

Добавлено:
LINs-lab/DynMoE-Phi-2-2.7B

Динамическое сочетание экспертов: подход к автоматической настройке эффективных моделей трансформаторов. Если наш проект вам поможет, поставьте нам звездочку ⭐ на GitHub и процитируйте нашу статью! — [2025.01.23]: 🎉 Наша статья принята на ICLR 2025! — [2024.05.25] 🔥Наши КПП теперь доступны! — [2024.05.23] 🔥Вышла наша газета! Динамическая смесь экспертов (DynMoE) включает (1) новый метод пропуска, который позволяет каждому токену автоматически определять количество экспертов для активации. (2) Адаптивный процесс автоматически корректирует количество экспертов во время обучения. ![](https://cdn.jsdelivr.net/gh/QAQdev/Pics@master/uPic/adaptive.png) — 🤔 DynMoE-Phi-2 — это модель MoE с динамическим стробированием top-k, настроенная на LanguageBind/MoE-LLaVA-Phi2-Stage2. — 🚀 Наш DynMoE-Phi-2-2.7B имеет всего 5,3B параметров, но активировано только 3,4B! (средний топ-k = 1,68) — ⌛ Благодаря этапу настройки DynMoE мы можем завершить обучение на 8 графических процессорах A100 за 2 дня. Этот проект выпущен под лицензией Apache-2.0, указанной в файле LICENSE.

Модальности:
Генерация текста


Задача: Генерация текста
Автор: LINs-lab
Теги: moe_llava_phi, custom_code, endpoints_compatible
Лайков: 4  |  Загрузок: 16

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.