Эта модель представляет собой модель Self-RAG 13B, которая генерирует выходные данные для различных пользовательских запросов, а также токены отражения для адаптивного вызова поисковой системы и критики ее собственных выходных данных и извлеченных отрывков. Self-RAG обучается на наших корпусах, следуя инструкциям, с чередованием проходов и токенов отражения с использованием стандартной цели прогнозирования следующего токена, что обеспечивает эффективное и стабильное обучение с детальной обратной связью. При выводе мы используем токены отражения, охватывающие различные аспекты поколений, чтобы выбрать лучший результат, соответствующий предпочтениям пользователей. Полное описание смотрите в нашей статье. Здесь мы показываем простой способ быстро загрузить нашу модель с HuggingFace и запустить ее с помощью vllm с заранее заданными фрагментами. Обязательно установите зависимости, перечисленные в файле self-rag/requirements.txt. Чтобы запустить наш полный конвейер вывода с системой поиска и детальным декодированием дерева, используйте наш код. Как описано в функции formatprompt, ваш ввод должен быть сформирован так, как будто у вас есть дополнительный ввод. Вы можете вставлять абзацы в любом месте после ### Response:n», но обязательно помечайте абзацы как токены абзаца (т. е. {0}). Наши обучающие данные доступны в наборе данных HuggingFace…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: selfrag
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 61 | Загрузок: 156
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
