Мы представляем LongCat-Flash, мощную и эффективную языковую модель с общим числом 560 миллиардов параметров и инновационной архитектурой Mixture-of-Experts (MoE). Модель включает в себя механизм динамических вычислений, который активирует 18,6–31,3 млрд параметров (в среднем около 27 млрд) на основе контекстных требований, оптимизируя как эффективность вычислений, так и производительность. Для повышения эффективности обучения и вывода мы используем архитектуру с коротким подключением, которая расширяет окно перекрытия вычислений и связи, обеспечивая более 100 токенов в секунду (TPS) для вывода с минимальными затратами. Наши комплексные стратегии обучения и масштабирования обеспечивают стабильное и эффективное обучение, а адаптированные стратегии обработки данных повышают производительность модели. Теперь мы выпускаем LongCat-Flash-Chat, немыслящую базовую модель, которая обеспечивает высокую производительность, конкурентоспособную среди ведущих моделей, и обладает исключительными преимуществами в агентских задачах. LongCat-Flash спроектирован и оптимизирован по двум ключевым принципам: эффективное использование вычислений, а также эффективное обучение и логический вывод. В частности, (1) Поскольку не все токены равны, мы вводим экспертный механизм с нулевыми вычислениями в блоках MoE для распределения динамического…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: meituan-longcat
Теги: LongCat-Flash-Chat, conversational, custom_code
Лайков: 526 | Загрузок: 30,674
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
