Набор данных LongForm создается путем использования примеров английского корпуса с обратными инструкциями. Мы выбираем разнообразный набор рукописных документов из существующих корпусов, таких как C4 и Википедия, и создаем инструкции для данных документов через LLM. Затем мы расширяем эти примеры примерами структурированных корпусов, такими как Stack Exchange и WikiHow, а также примерами задач, такими как ответы на вопросы, написание электронной почты, исправление грамматических ошибок, создание рассказов/стихов и обобщение текста. Репозиторий Github: https://github.com/akoksal/LongForm! Набор данных LongForm LongForm-T5-XL: https://huggingface.co/akoksal/LongForm-T5-XL LongForm-OPT-2.7B: https://huggingface.co/akoksal/LongForm-OPT-2.7B LongForm-OPT-6.7B: https://huggingface.co/akoksal/LongForm-OPT-6.7B В статье мы даем углубленную оценку моделей и базовых показателей LongForm. Мы представляем оценки моделей METEOR во внешних наборах данных. Во всех задачах модели создания рецептов (RGen), ответов на длинные вопросы (ELI5), создания коротких рассказов (WritingPrompts/WP), модели LongForm превосходят предыдущие модели, настроенные на инструкции. Также доступны меньшие версии моделей LongForm-OPT: — LongForm-OPT-1.3B — LongForm-OPT-350M -…
Модальности:
Генерация текста
Области применения:
Мультиязычность
Задача: Генерация текста
Автор: akoksal
Теги: llama, instruction-tuning, text-generation-inference, text2text-generation, en, multilingual, de, it
Лайков: 13 | Загрузок: 23
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
