Dayhoff — это атлас данных о последовательностях белков и моделей генеративного языка — централизованный ресурс, который объединяет 3,34 миллиарда белковых последовательностей из 1,7 миллиардов кластеров метагеномных и природных белковых последовательностей (GigaRef), 46 миллионов синтетических последовательностей, полученных из структур (BackboneRef) и 16 миллионов множественных выравниваний последовательностей (OpenProteinSet). Эти модели могут естественным образом предсказывать влияние нулевых мутаций на приспособленность, структурные мотивы каркаса путем обусловления эволюционным или структурным контекстом, а также выполнять управляемую генерацию новых белков в пределах определенных семейств. Изучение метагеномных и структурных синтетических данных из Атласа Дайхоффа увеличило скорость клеточной экспрессии созданных белков, подчеркивая реальную ценность расширения масштаба, разнообразия и новизны данных о последовательностях белков. Архитектура Dayhoff представляет собой гибрид слоев Mamba в пространстве состояний и самообслуживания Transformer, чередующихся с модулями Mixture-of-Experts для максимизации емкости при сохранении эффективности. Он изначально обрабатывает длинные контексты, позволяя моделировать как отдельные последовательности, так и развернутые MSA. Обученный с целью авторегрессии как в N→C, так и в…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: microsoft
Теги: jamba, protein-generation, endpoints_compatible
Лайков: 5 | Загрузок: 81
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
