OPT-IML (OPT + Instruction Meta-Learning) — это набор версий OPT, настроенных на инструкции, на основе набора из примерно 2000 задач НЛП, собранных из 8 тестов НЛП, под названием OPT-IML Bench. Мы предоставляем две версии модели: OPT-IML, обученный на 1500 задачах, при этом несколько задач отложены для последующей оценки, и OPT-IML-Max, обученный на всех ~2000 задачах. Эту модель можно использовать непосредственно с конвейером для генерации текста. Хотя модели OPT-IML превосходят базовый OPT по обширному набору оценок, тем не менее, они подвержены различным рискам, связанным с использованием больших языковых моделей, связанных с фактической правильностью, созданием токсичного языка и навязыванием стереотипов. Хотя мы выпускаем наши модели OPT-IML, чтобы расширить будущую работу по настройке инструкций и улучшить доступность больших причинно-следственных LM, настроенных на инструкции, использование этих моделей должно сопровождаться ответственными передовыми практиками. Модели OPT-IML обучаются на OPT-IML Bench, большом тесте для обучения метаобучению инструкций (IML) из 2000 задач НЛП, объединенных в категории задач из 8 существующих тестов, включая Super-NaturalInstructions, FLAN, PromptSource и т. д. Тексты токенизированы с использованием…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: facebook
Теги: opt, text-generation-inference
Лайков: 28 | Загрузок: 3,260
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
