OPT был впервые представлен в Open Pre-trained Transformer Language Models и впервые выпущен в репозитории Metaseq 3 мая 2022 года компанией Meta AI. Отказ от ответственности: Команда, выпустившая OPT, написала официальную карточку модели, которая доступна в Приложении D к статье. Содержимое этой карточки модели было написано командой Hugging Face. > Большие языковые модели, обученные на массивных коллекциях текстов, показали удивительные возникающие > возможности генерировать текст и выполнять обучение с нулевым и небольшим количеством выстрелов. Хотя в некоторых случаях общественность > может взаимодействовать с этими моделями через платные API, полный доступ к модели в настоящее время ограничен только несколькими лабораториями с высоким уровнем ресурсов. Этот ограниченный доступ ограничивает способность исследователей изучать, как и почему работают эти большие языковые модели, препятствуя прогрессу в устранении известных проблем в таких областях, как устойчивость, предвзятость и токсичность. > Мы представляем Open Pretrained Transformers (OPT), набор предварительно обученных трансформаторов декодера в диапазоне ОТ 125M > до 175B, которыми мы стремимся полностью и ответственно поделиться с заинтересованными исследователями. Мы обучаем модели OPT примерно соответствовать > производительности и размерам моделей класса GPT-3, а также применяем…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: intlsy
Теги: opt, en
Лайков: 3 | Загрузок: 16
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
