📖 Технический отчет   |   🤗 Обнимающее лицо   |   🤖 ModelScope Мы рады объявить об официальном выпуске Ring-flash-linear-2.0 с открытым исходным кодом! Основываясь на успехе серии Ling 2.0, эта модель продолжает использовать мощную гибридную архитектуру линейного и стандартного внимания, идеально сочетая высокую производительность с превосходной эффективностью. Благодаря интеграции нашей проверенной конструкции MoE с такими оптимизациями, как экспертный коэффициент активации 1/32 и уровни MTP, Ring-flash-linear обеспечивает производительность модели с плотностью 40 байт, активируя при этом только 6,1 байт параметров. Данная модель была конвертирована из Ling-flash-base-2.0, дополнительно обучена на дополнительных токенах 1T. Когда дело доходит до тестов, Ring-flash-linear-2.0 не только конкурирует со стандартными моделями внимания (такими как Ring-flash-2.0), но и превосходит другие модели MoE и Dense с открытым исходным кодом в своем классе при выполнении ряда сложных задач. Кроме того, благодаря поддержке контекста длиной 128 КБ он работает быстрее и точнее, чем когда-либо, особенно при обработке длинных входных и выходных данных. Чтобы лучше продемонстрировать возможности модели, мы выбрали репрезентативные модели мышления с открытым исходным кодом и API с закрытым исходным кодом для…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: inclusionAI
Теги: bailing_moe_linear, moe, conversational, custom_code, en
Лайков: 98 | Загрузок: 38
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
