Используя эту модель, вы принимаете условия Лицензионного соглашения сообщества Meta Llama 3. Наш первый агент — это доработанная модель Meta-Llama-3-8B-Instruct, недавно выпущенная командой Meta GenAI. Мы настроили эту модель на наборе данных WebLINX, который содержит более 100 тысяч экземпляров веб-навигации и диалогов, каждый из которых собран и проверен экспертами-аннотаторами. Для обучения данных мы используем курируемое подмножество из 24 КБ. Данные обучения и оценки доступны на Huggingface Hub как McGill-NLP/WebLINX. Он превосходит GPT-4V (нулевой выстрел) более чем на 18 % в тесте WebLINX, достигнув общего балла 28,8 % при разделении тестов вне домена (по сравнению с 10,5 % для GPT-4V). Он выбирает более полезные ссылки (34,1% против 18,9% seg-F1), нажимает на более релевантные элементы (27,1% против 13,6% IoU) и формулирует более согласованные ответы (37,5% против 3,1% chr-F1*). Мы считаем, что коротких демонстрационных видеороликов, показывающих, насколько хорошо работает агент, НЕ достаточно, чтобы судить об агенте. Проще говоря, мы не знаем, есть ли у нас хороший агент, если у нас нет хороших критериев. Нам необходимо систематически оценивать агентов при выполнении широкого спектра задач, начиная от простой веб-навигации с последующими инструкциями и заканчивая сложными диалоговыми руководствами…
Модальности:
Генерация текста
Области применения:
Диалог / чат Агенты
Задача: Генерация текста
Автор: McGill-NLP
Теги: llama, agents, agent, llm, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 214 | Загрузок: 19
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
