OPT был впервые представлен в открытых предварительно обученных языковых моделях трансформаторов и впервые выпущен в репозитории Metaseq 3 мая 2022 года компанией Meta AI. Отказ от ответственности: команда, выпустившая OPT, написала официальную карточку модели, которая доступна в Приложении D к документу. Содержимое этой карточки модели было написано командой Hugging Face. > Крупные языковые модели, обученные на больших коллекциях текстов, > продемонстрировали удивительные новые возможности генерировать текст и выполнять обучение с нулевым или малым количеством попыток. Хотя в некоторых случаях общественность может взаимодействовать с этими моделями через платные API, полный доступ к моделям в настоящее время ограничен лишь несколькими лабораториями с высокими ресурсами. Этот ограниченный доступ ограничивает возможности исследователей изучать, как и почему работают эти большие языковые модели, препятствуя прогрессу в решении известных проблем в таких областях, как надежность, предвзятость и токсичность. > Мы представляем открытые предварительно обученные трансформаторы (OPT), набор предварительно обученных преобразователей, предназначенных только для декодирования, с диапазоном параметров от 125M > до 175B, которыми мы стремимся полностью и ответственно поделиться с заинтересованными исследователями. Мы обучаем модели OPT таким образом, чтобы они примерно соответствовали производительности и размерам моделей класса GPT-3, а также применяли…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: facebook
Теги: tf, jax, opt, en, text-generation-inference
Лайков: 86 | Загрузок: 17,301
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
