Эта модель представляет собой модель 7B Self-RAG, которая генерирует выходные данные для различных пользовательских запросов, а также токены отражения для адаптивного вызова поисковой системы и критики ее собственных выходных данных и извлеченных отрывков. Self-RAG обучается на наших корпусах, следуя инструкциям, с чередованием проходов и токенов отражения с использованием стандартной цели прогнозирования следующего токена, что обеспечивает эффективное и стабильное обучение с детальной обратной связью. При выводе мы используем токены отражения, охватывающие различные аспекты поколений, чтобы выбрать лучший результат, соответствующий предпочтениям пользователей. Полные описания см. в нашей статье. Полные описания см. в нашей статье. Здесь мы показываем простой способ быстро загрузить нашу модель с HuggingFace и запустить ее с помощью vllm с заранее заданными отрывками. Обязательно установите зависимости, перечисленные в файле self-rag/requirements.txt. Чтобы запустить наш полный конвейер вывода с системой поиска и детальным декодированием дерева, используйте наш код. Как описано в функции formatprompt, ваш ввод должен быть сформирован так, как будто у вас есть дополнительный ввод. Вы можете вставлять абзацы в любом месте после ### Response:n», но обязательно помечайте абзацы как токены абзаца (т. е. {0}). Наши обучающие данные доступны по адресу…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: selfrag
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 82 | Загрузок: 3,327
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
