teapotai/tinyteapot - Каталог нейросетей
Генерация текста

teapotai/tinyteapot

Добавлено:
teapotai/tinyteapot

TinyTeapot — это легкая (около 77 млн ​​параметров) обоснованная языковая модель, оптимизированная для ответов на вопросы с малой задержкой, устойчивых к галлюцинациям и рабочих процессов RAG. Основываясь на нашей предыдущей работе, TeapotLLM, TinyTeapot обеспечивает высокую производительность с учетом контекста и при этом примерно в 10 раз быстрее процессора, что делает его идеальным для экономичного развертывания в режиме реального времени, на устройстве, на процессорах, мобильных устройствах и в других средах с ограниченными ресурсами. TinyTeapot создан на основе нашей предыдущей модели TeapotLLM и обучен на обоснованных наборах данных, включая SynthQA, контекстно-ориентированный тест QnA и эталон извлечения, а также TeapotChat для выполнения инструкций и обоснованного диалога. Эта дистилляция переносит отказное поведение TeapotLLM, структурированные шаблоны извлечения и контекстные ответы в значительно меньшую по размеру и эффективную модель. Благодаря использованию TeapotLLM и обучению SynthQA, TinyTeapot учится отказываться от вопросов, когда ответ отсутствует в контексте, повышая надежность по сравнению с моделями аналогичного размера в RAG и конвейерах контроля качества документов. TinyTeapot можно использовать напрямую с Hugging Face Transformers или с нашей библиотекой Python teapotai и использовать формат преобразования текста в текст. Это…

Модальности:
Генерация текста


Задача: Генерация текста
Автор: teapotai
Теги: t5, text2text-generation, seq2seq, flan-t5, lightweight, grounded-qa, en, text-generation-inference
Лайков: 22  |  Загрузок: 132

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.