TinyTeapot — это легкая (около 77 млн параметров) обоснованная языковая модель, оптимизированная для ответов на вопросы с малой задержкой, устойчивых к галлюцинациям и рабочих процессов RAG. Основываясь на нашей предыдущей работе, TeapotLLM, TinyTeapot обеспечивает высокую производительность с учетом контекста и при этом примерно в 10 раз быстрее процессора, что делает его идеальным для экономичного развертывания в режиме реального времени, на устройстве, на процессорах, мобильных устройствах и в других средах с ограниченными ресурсами. TinyTeapot создан на основе нашей предыдущей модели TeapotLLM и обучен на обоснованных наборах данных, включая SynthQA, контекстно-ориентированный тест QnA и эталон извлечения, а также TeapotChat для выполнения инструкций и обоснованного диалога. Эта дистилляция переносит отказное поведение TeapotLLM, структурированные шаблоны извлечения и контекстные ответы в значительно меньшую по размеру и эффективную модель. Благодаря использованию TeapotLLM и обучению SynthQA, TinyTeapot учится отказываться от вопросов, когда ответ отсутствует в контексте, повышая надежность по сравнению с моделями аналогичного размера в RAG и конвейерах контроля качества документов. TinyTeapot можно использовать напрямую с Hugging Face Transformers или с нашей библиотекой Python teapotai и использовать формат преобразования текста в текст. Это…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: teapotai
Теги: t5, text2text-generation, seq2seq, flan-t5, lightweight, grounded-qa, en, text-generation-inference
Лайков: 22 | Загрузок: 132
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.