С быстрым распространением больших языковых моделей (LLM), каждая из которых оптимизирована для различных сильных сторон, стиля или профиля задержки/стоимости, маршрутизация стала важным методом для практического использования различных моделей. Однако существующие подходы к маршрутизации LLM ограничены двумя ключевыми способами: они оценивают производительность с использованием тестов, которые часто не могут уловить человеческие предпочтения, обусловленные субъективными критериями оценки, и они обычно выбирают из ограниченного пула моделей. Мы представляем структуру маршрутизации с учетом предпочтений, которая направляет выбор модели путем сопоставления запросов с определяемыми пользователем доменами (например, путешествия) или типами действий (например, редактирование изображений), предлагая практический механизм кодирования предпочтений при принятии решений о маршрутизации. В частности, мы представляем Arch-Router, компактную модель 1,5B, которая учится сопоставлять запросы с предпочтениями действий предметной области для принятия решений о маршрутизации модели. Эксперименты с диалоговыми наборами данных показывают, что наш подход достигает самых современных (SOTA) результатов в сопоставлении запросов с человеческими предпочтениями, превосходя лучшие патентованные модели. Эта модель описана в статье: https://arxiv.org/abs/2506.16655 и обеспечивает Arch встроенный в модели прокси-сервер для…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: katanemo
Теги: qwen2, routing, preference, llm, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 248 | Загрузок: 883
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
