Предварительно обученная модель белковых последовательностей с использованием цели моделирования языка в масках (MLM). Он был представлен в этой статье и впервые опубликован в этом репозитории. Эта модель обучена на аминокислотах с заглавными буквами: она работает только с аминокислотами с заглавной буквы. ProtT5-XL-BFD основан на модели t5-3b и предварительно обучен на большом корпусе белковых последовательностей в режиме самоконтроля. Это означает, что он был предварительно обучен только на необработанных белковых последовательностях, и никто из людей не маркировал их каким-либо образом (именно поэтому он может использовать множество общедоступных данных) с автоматическим процессом генерации входных данных и меток из этих белковых последовательностей. Одним из важных отличий этой модели T5 от оригинальной версии T5 является цель снижения шума. Исходная модель T5-3B была предварительно обучена с использованием цели уменьшения промежутка, в то время как эта модель была предварительно обучена с помощью цели уменьшения масштаба MLM, подобной Барту. Вероятность маскировки соответствует исходному обучению T5 за счет случайного маскирования 15% входных аминокислот. Было показано, что особенности, извлеченные из этой модели с самоконтролем (LM-встраивания), отражают важные биофизические свойства, определяющие форму белка. форма. Это подразумевало обучение…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Rostlab
Теги: tf, t5, protein language model, text-generation-inference, endpoints_compatible
Лайков: 10 | Загрузок: 2,522
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
