Эта модель белкового языка представляет собой модель авторегрессионного преобразователя с 454M параметрами в стиле GPT, обученную анализировать и прогнозировать механические свойства большого количества белковых последовательностей. Модель имеет как прямые, так и обратные возможности. Например, используя задачи генерации, модель может создавать новые белки, удовлетворяющие одному или нескольким механическим ограничениям. Эта базовая модель белкового языка была основана на архитектуре NeoGPT-X и использует вращающееся позиционное встраивание (RoPE). Он имеет 16 головок внимания, 36 скрытых слоев и скрытый размер 1024, промежуточный размер 4096 и использует функцию активации GeLU. Задача предварительного обучения определяется как «Последовательность», где… — аминокислотная последовательность. Набор данных для предварительного обучения: https://huggingface.co/datasets/lamm-mit/GPTProteinPretrained Предварительно обученная модель: https://huggingface.co/lamm-mit/GPTProteinPretrained В этой точно настроенной модели прямые и обратные задачи, связанные с механикой: Задача «CalculateForce», где модель рассчитает максимальную силу разворачивания заданной последовательности:…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: lamm-mit
Теги: gpt_neox, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 213
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
