— Создатель модели: Институт технологических инноваций. — Исходная модель: Falcon-40B. — Точная настройка: IPADS. Разреженные вычисления все чаще признаются важным направлением повышения вычислительной эффективности больших языковых моделей (LLM). Среди различных подходов особенно многообещающим оказался метод объединения экспертов (MoE), примером которого являются такие модели, как Mixtral. MoE работает путем выборочной активации различных компонентов модели (экспертов), оптимизируя тем самым использование ресурсов. Недавние исследования (Zhang et al., 2021; Liu et al., 2023; Mirzadeh et al., 2023) показывают, что LLM по своей сути обладают свойствами, способствующими разреженным вычислениям при использовании функции активации ReLU. Это понимание открывает новые возможности для повышения эффективности модели, аналогично избирательной активации Министерства экологии. Динамически выбирая параметры модели для вычислений, мы можем существенно повысить эффективность. Однако широкое внедрение моделей на основе ReLU в области LLM остается ограниченным. Ссылаясь на методы преобразования из существующих работ (Чжан и др., 2021; Мирзаде и др., 2023), мы преобразуем существующие модели в версии, активированные ReLU, посредством тонкой настройки. Мы надеемся, что эти программы LLM ReLU с открытым исходным кодом смогут способствовать…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: SparseLLM
Теги: falcon, custom_code, en, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
