Ring-lite-linear-preview — это гибридно-линейный MoE LLM, предоставляемый InclusionAI с открытым исходным кодом, который имеет 17,1 млрд параметров и 3,0 млрд активированных параметров. Это длинная модель рассуждения, основанная на гибридно-линейном внимании, обеспечивающая почти линейную вычислительную сложность и почти постоянную пространственную сложность во время вывода. Эта модель была преобразована из Ling-lite-0220, который использует архитектуру softmax, основанную на внимании. Он соответствует производительности DeepSeek-R1-Distill-Qwen-7B в стандартизированных тестах рассуждения, существенно сокращая при этом вычислительные затраты как на этапах обучения, так и на этапах вывода. В некоторых тестах скорости поколения, основанных на vLLM, мы заметили, что пропускная способность была увеличена более чем вдвое по сравнению с моделями внимания softmax того же масштаба (например, Ling-lite). Насколько нам известно, это первая модель языка гибридного линейного рассуждения с открытым исходным кодом. Что касается оценки способности к рассуждению, Ring-lite-linear-preview достигает 55,0 по AIME24 и 93,8 по MATH-500. Чтобы оценить производительность генерации, мы развертываем Ring-lite-linear и Ring-lite на основе softmax-attention на основе vLLM на одном графическом процессоре NVIDIA A100. Мы проводим две серии экспериментов: 1. Длинный ввод…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: inclusionAI
Теги: bailing_moe_linear, conversational, custom_code, zh, en
Лайков: 38 | Загрузок: 25
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
