> Edge LLM с параметром 0,6B, обученный выдавать калиброванный вербальный показатель достоверности перед ответом, что обеспечивает эффективную маршрутизацию периферийного облака без внешнего маршрутизатора. Обзор !FogGen: (а) самосознательная маршрутизация при выводе, (б) саморазвивающийся цикл обучения. FogGen — это небольшая самосознательная граничная модель, которая знает, когда отвечать локально, а когда следует полагаться на более мощную облачную модель. При выводе (рисунок (a)) он выдает оценку достоверности, а затем ответ за один проход вперед; если достоверность c ≥ τ, возвращается локальный ответ, в противном случае запрос перенаправляется в облако. Обучение (рисунок (b)) представляет собой саморазвивающийся цикл: в каждом раунде текущая контрольная точка самостоятельно выбирает N = 8 поколений на вопрос для получения сегментов достоверности, а затем SFT для троек (вопрос, достоверность, ответ). Освобожденная контрольная точка является конечной точкой (R14) цепочки из 14 раундов, обучаемой в семи областях: финансы, наука, программирование, право, математика, казахская культура, медицина. При τ=0,5 на обученных доменах модель направляет ~22% запросов в облако, достигая средней точности системы 67,8%. Точность системы при τ=0,5 в семи доменах MCQ (полные наборы тестов, ~16 200 вопросов), измеренная на основе случайной маршрутизации и базового уровня только в облаке…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: issai
Теги: qwen3, edge-cloud-routing, verbalized-confidence, self-aware, routing, continual-learning, multi-round, conversational
Лайков: 6 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
