— Это квантованная версия McGill-NLP/Llama-3-8B-Web, созданная с использованием llama.cpp. Наш первый агент — это доработанная модель Meta-Llama-3-8B-Instruct, которая недавно была выпущена командой Meta GenAI. Мы настроили эту модель на наборе данных WebLINX, который содержит более 100 тысяч экземпляров веб-навигации и диалогов, каждый из которых собран и проверен экспертами-аннотаторами. Для обучения данных мы используем курируемое подмножество из 24 КБ. Данные обучения и оценки доступны на Huggingface Hub как McGill-NLP/WebLINX. Он превосходит GPT-4V (нулевой выстрел) более чем на 18 % в тесте WebLINX, достигнув общего балла 28,8 % при разделении тестов вне домена (по сравнению с 10,5 % для GPT-4V). Он выбирает более полезные ссылки (34,1% против 18,9% seg-F1), нажимает на более релевантные элементы (27,1% против 13,6% IoU) и формулирует более согласованные ответы (37,5% против 3,1% chr-F1*). Мы считаем, что коротких демонстрационных видеороликов, показывающих, насколько хорошо работает агент, НЕ достаточно, чтобы судить об агенте. Проще говоря, мы не знаем, есть ли у нас хороший агент, если у нас нет хороших критериев. Нам необходимо систематически оценивать работу агентов при выполнении широкого спектра задач: от простой веб-навигации с выполнением инструкций до сложного просмотра с помощью диалога. Вот почему…
Модальности:
Генерация текста
Области применения:
Диалог / чат Агенты
Задача: Генерация текста
Автор: QuantFactory
Теги: gguf, agents, agent, llm, llama, en, endpoints_compatible, conversational
Лайков: 7 | Загрузок: 239
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
