По мере роста спроса на большие языковые модели проявляется общее ограничение: их неспособность напрямую осуществлять поиск в Интернете. Хотя такие технологические гиганты, как Google (вместе с Bard), Bing и Perplexity, решают эту проблему, их собственные методы имеют проблемы с регистрацией данных. Представляем открытый поиск LLM — специализированную адаптацию модели llama-2-7b-32k от Together AI, специально созданную для извлечения информации с веб-страниц. Хотя модель имеет всего 7 миллиардов параметров, ее тонко настроенные возможности и расширенный лимит контекста позволяют ей преуспеть в поисковых задачах. Точная настройка модели включала комбинацию GPT-4 и GPT-4-32k для генерации синтетических данных. Вот использованный рабочий процесс обучения: 1. Используйте GPT-4 для создания множества запросов. 2. Для каждого запроса определите пять лучших результатов веб-сайта Google. 3. Извлеките контент с этих веб-сайтов и используйте GPT-4-32k для его обобщения. 4. Запишите текст и резюме из GPT-4-32k для более точной настройки. 5. Добавьте сводки из всех пяти источников с помощью GPT-4, чтобы составить связный ответ. 6. Задокументируйте входные и выходные данные GPT-4 для более точной настройки. — Испытайте это на собственном опыте! Посмотрите живую демо-версию здесь. — Для любителей DIY…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: masonbarnes
Теги: llama, custom_code, en, text-generation-inference, endpoints_compatible
Лайков: 10 | Загрузок: 13
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
