Добро пожаловать в xRouter, интеллектуальную систему маршрутизации LLM от Salesforce AI Research, обученную с помощью обучения с подкреплением для динамического выбора оптимальных моделей из более чем 20 доступных LLM, одновременно оптимизируя как производительность, так и стоимость. Современное внедрение LLM сталкивается с расширением спектра затрат и производительности: модели премиум-класса обеспечивают веские аргументы, но стоят дорого, а легкие модели экономичны, но хрупки при выполнении сложных задач. xRouter изучает сквозные политики маршрутизации, которые балансируют качество и стоимость посредством явного формирования вознаграждения с учетом затрат, устраняя необходимость в правилах маршрутизации, разрабатываемых вручную. — Оптимизация с учетом затрат: политики, обученные на основе RL, минимизируют затраты (сокращение до 60 %) при сохранении качества — Адаптивная маршрутизация: динамический выбор модели на основе сложности запроса — направляет простые запросы к бюджетным моделям, сложные — к моделям премиум-класса — Архитектура вызова инструментов: учится эффективно вызывать более 20 моделей (GPT-5, o3/o4, DeepSeek R1, Qwen3, Kimi K2 и т. д.) и выбирать лучшие ответы — Многомодельность Оркестрация: координирует ответы нескольких LLM для сложных задач рассуждения. — Обучение разработке подсказок: автоматически генерирует оптимизированные системные подсказки для целевых моделей. — 📄 Бумага:…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Salesforce
Теги: qwen2, reinforcement-learning, llm-routing, cost-optimization, tool-calling, multi-model, conversational, text-generation-inference
Лайков: 15 | Загрузок: 90
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
