Набор данных LongForm создается путем использования примеров английского корпуса с обратными инструкциями. Мы выбираем разнообразный набор рукописных документов из существующих корпусов, таких как C4 и Википедия, и создаем инструкции для данных документов через LLM. Затем мы расширяем эти примеры примерами структурированных корпусов, такими как Stack Exchange и WikiHow, а также примерами задач, такими как ответы на вопросы, написание электронной почты, исправление грамматических ошибок, создание рассказов/стихов и обобщение текста. Репозиторий Github: https://github.com/akoksal/LongForm! Набор данных LongForm. В статье мы даем углубленную оценку моделей и базовых показателей LongForm. Мы представляем оценки моделей METEOR во внешних наборах данных. Во всех задачах модели создания рецептов (RGen), ответов на длинные вопросы (ELI5), создания коротких рассказов (WritingPrompts/WP), модели LongForm превосходят предыдущие модели, настроенные на инструкции. Также доступны меньшие версии моделей LongForm-OPT: — LongForm-OPT-1.3B — LongForm-OPT-350M — LongForm-OPT-125M ‡: Мы можем просто опубликовать разницу между LongForm-LLaMA-7B и предварительно обученным LLaMA-7B из-за ограничений моделей LLaMA. Набор данных и модели LongForm в основном ориентированы на длинный текст…
Модальности:
Генерация текста
Области применения:
Мультиязычность
Задача: Генерация текста
Автор: akoksal
Теги: opt, instruction-tuning, text-generation-inference, text2text-generation, en, multilingual, de, it
Лайков: 7 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
