Unsloth Dynamic 2.0 обеспечивает превосходную точность и превосходит другие ведущие методы количественного анализа. Расширенные возможности моделей ERNIE 4.5, особенно серий A47B и A3B на основе MoE, подкреплены несколькими ключевыми техническими инновациями: 1. Предварительное обучение мультимодальному гетерогенному MoE: наши модели совместно обучаются как текстовым, так и визуальным модальностям, чтобы лучше улавливать нюансы мультимодальной информации и повышать производительность при выполнении задач, связанных с пониманием и генерацией текста, пониманием изображений и кросс-модальным рассуждением. Чтобы добиться этого, чтобы одна модальность не мешала обучению другой, мы разработали гетерогенную структуру MoE, включили модально-изолированную маршрутизацию и использовали ортогональные потери маршрутизатора и мультимодальные потери, сбалансированные по токенам. Такой архитектурный выбор гарантирует эффективное представление обоих модальностей, обеспечивая взаимное подкрепление во время обучения. 2. Инфраструктура с эффективным масштабированием. Мы предлагаем новую стратегию гетерогенного гибридного параллелизма и иерархической балансировки нагрузки для эффективного обучения моделей ERNIE 4.5. Используя внутриузловой экспертный параллелизм, эффективное планирование конвейеров с использованием памяти, обучение смешанной точности FP8 и мелкозернистую…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: unsloth
Теги: gguf, ERNIE4.5, unsloth, en, zh, endpoints_compatible, conversational
Лайков: 14 | Загрузок: 404
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
