Tiny-Agent-α — это расширение Dria-Agent-a, созданное на основе серии Qwen2.5-Coder для использования в периферийных устройствах. Эти модели тщательно настраиваются с помощью обучения с учетом квантования, чтобы минимизировать ухудшение производительности после квантования. Tiny-Agent-α использует вызов функций Python, который представляет собой LLM, использующий блоки кода Python для взаимодействия с предоставленными инструментами и выходными действиями. Этот метод был вдохновлен многими предыдущими работами, включая, помимо прочего, DynaSaur, RLEF, ADAS и CAMEL. Этот способ вызова функций имеет несколько преимуществ по сравнению с традиционными методами вызова функций на основе JSON: 1. Одноразовые параллельные вызовы нескольких функций: модель может использовать множество синхронных процессов за один ход чата, чтобы прийти к решению, что потребует нескольких раундов разговора с другими моделями вызова функций. 2. Рассуждения и действия в свободной форме. Модель свободно предоставляет трассировки рассуждений на естественном языке и действия между блоками \python\, поскольку она уже имеет тенденцию делать это без специальных подсказок или настройки. Это попытка смягчить возможную потерю производительности, вызванную наложением определенных форматов на выходные данные LLM, обсуждаемые в разделе «Позвольте мне говорить свободно?» 3. Оперативный комплекс…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: driaforall
Теги: gguf, qwen2, code, chat, qwen, qwen-coder, agent, conversational
Лайков: 9 | Загрузок: 309
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
