Functionary — это языковая модель, которая может интерпретировать и выполнять функции/плагины. Модель определяет, когда выполнять функции, параллельно или последовательно, и может понимать их выходные данные. Он запускает функции только по мере необходимости. Определения функций предоставляются в виде объектов схемы JSON, аналогично вызовам функций OpenAI GPT. — Интеллектуальное использование параллельных инструментов. — Возможность анализировать выходные данные функций/инструментов и предоставлять соответствующие ответы на основе результатов. — Возможность решать, когда не использовать инструменты/функции вызова, и обеспечивать нормальный ответ в чате. — Действительно одна из лучших альтернатив GPT-4 с открытым исходным кодом. — Поддержка интерпретатора кода. Мы предоставляем специальный код для анализа необработанных ответов модели в объект JSON, содержащий поля role, content иtool_calls. Это позволяет пользователям легко читать выходные данные вызова функции модели. Мы преобразуем определения функций в текст, аналогичный определениям TypeScript. Затем мы внедряем эти определения в виде системных подсказок. После этого мы вводим системное приглашение по умолчанию. Затем мы начинаем диалог сообщений. Это форматирование также доступно через наш сервер vLLM, на котором мы обрабатываем функции в определения Typescript, инкапсулированные в системное сообщение…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: meetkai
Теги: tensorboard, llama, conversational, custom_code, text-generation-inference, endpoints_compatible
Лайков: 9 | Загрузок: 505
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
