Мы представляем LongCat-Flash-Lite, немыслящую модель Mixture of Experts (MoE) с 68,5 миллиардами параметров и примерно 3 миллиардами активированных параметров, поддерживающую длину контекста 256 тысяч с помощью метода YaRN. Основанный на архитектуре LongCat-Flash, LongCat-Flash-Lite отличается интеграцией таблицы внедрения N-грамм, предназначенной для повышения производительности модели и скорости вывода. Несмотря на выделение более 30 миллиардов параметров для встраивания, LongCat-Flash-Lite не только превосходит базовые показатели MoE, эквивалентные параметрам, но также демонстрирует исключительную конкурентоспособность по сравнению с существующими моделями сопоставимого масштаба, особенно в области агентов и кодирования. Посредством всесторонних экспериментов по масштабированию в различных сценариях мы выявляем конкретные режимы, в которых внедрение масштабирования позволяет достичь превосходящей границы Парето по сравнению с увеличением числа экспертов, тем самым предлагая высокоэффективную альтернативу масштабированию модели. Далее мы описываем полный набор архитектурных факторов, которые определяют эффективность масштабирования внедрения, включая время интеграции, бюджетирование параметров, устранение коллизий хэшей, конфигурацию гиперпараметров и инициализацию внедрения…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: meituan-longcat
Теги: LongCat-Flash-Lite, conversational, custom_code, fp8
Лайков: 7 | Загрузок: 52
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
