📖 Технический отчет   |    🤗 Обнимающее лицо   |   🤖 ModelScope Сегодня мы официально открываем исходный код Ring-mini-linear-2.0. В этой модели по-прежнему используется гибридная архитектура, которая сочетает в себе механизмы линейного внимания и стандартного внимания, обеспечивая баланс между производительностью и эффективностью. Унаследовав эффективный дизайн MoE (Mixture-of-Experts) от серии Ling 2.0, а также за счет архитектурных оптимизаций, таких как коэффициент активации экспертов 1/32 и уровни MTP, Ring-mini-linear достигает производительности модели с плотностью ~ 8B, активируя только 1,6B из 16,4B общих параметров. Эта модель была преобразована из Ling-mini-base-2.0, постоянно обучаемого на дополнительных токенах 600B. С точки зрения производительности гибридная линейная модель сравнима по общей производительности со стандартными моделями внимания аналогичного размера (например, Ring-mini-2) и превосходит другие модели MoE и Dense с открытым исходным кодом того же класса по нескольким сложным тестам. Кроме того, мы поддерживаем контекстное окно длиной 512 КБ, достигаемое путем экстраполяции окна 4x с помощью YaRN. Это обеспечивает превосходную скорость, особенно при выполнении задач, требующих длительного ввода и вывода. Чтобы лучше продемонстрировать…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: inclusionAI
Теги: bailing_moe_linear, moe, conversational, custom_code, en
Лайков: 88 | Загрузок: 706
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
