Мы представляем LongCat-Flash-Lite, немыслящую модель Mixture-of-Experts (MoE) с 68,5 миллиардами параметров и примерно 3 миллиардами активированных параметров, поддерживающую длину контекста 256 тысяч с помощью метода YaRN. Основанный на архитектуре LongCat-Flash, LongCat-Flash-Lite отличается интеграцией таблицы внедрения N-грамм, предназначенной для повышения производительности модели и скорости вывода. Несмотря на выделение более 30 миллиардов параметров для встраивания, LongCat-Flash-Lite не только превосходит базовые показатели MoE, эквивалентные параметрам, но также демонстрирует исключительную конкурентоспособность по сравнению с существующими моделями сопоставимого масштаба, особенно в области агентов и кодирования. Посредством комплексных экспериментов по масштабированию в различных сценариях мы выявляем конкретные режимы, в которых внедрение масштабирования позволяет достичь превосходящей границы Парето по сравнению с увеличением числа экспертов, тем самым предлагая высокоэффективную альтернативу масштабированию модели. Далее мы описываем полный набор архитектурных факторов, которые определяют эффективность масштабирования внедрения, включая время интеграции, бюджетирование параметров, устранение коллизий хэшей, конфигурацию гиперпараметров и инициализацию внедрения…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: meituan-longcat
Теги: LongCat-Flash-Lite, conversational, custom_code, eval-results
Лайков: 175 | Загрузок: 1,067
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
