OPT-IML (OPT + Instruction Meta-Learning) — это набор версий OPT, настроенных на инструкции, на основе набора из примерно 2000 задач НЛП, собранных из 8 тестов НЛП, под названием OPT-IML Bench. Мы предоставляем две версии модели: OPT-IML, обученный на 1500 задачах с несколькими задачами, отложенными для последующей оценки, и OPT-IML-Max, обученный на всех ~2000 задачах. Для больших моделей OPT, таких как эта, не рекомендуется использовать конвейер генерации текста, поскольку следует загружать модель с половинной точностью, чтобы ускорить генерацию и оптимизировать потребление памяти на графическом процессоре. Рекомендуется напрямую вызывать метод генерации следующим образом: Хотя модели OPT-IML превосходят базовый OPT по обширному набору оценок, тем не менее, они подвержены различным рискам, связанным с использованием больших языковых моделей, связанных с фактической корректностью, созданием токсичного языка и навязыванием стереотипов. Хотя мы выпускаем наши модели OPT-IML, чтобы расширить будущую работу по настройке инструкций и улучшить доступность больших причинно-следственных LM, настроенных на инструкции, использование этих моделей должно сопровождаться ответственными передовыми практиками. Модели OPT-IML проходят обучение на стенде OPT-IML, большом…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: facebook
Теги: opt, text-generation-inference
Лайков: 35 | Загрузок: 1,561
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
