Dayhoff — это Атлас данных белковых последовательностей и генеративных языковых моделей — централизованный ресурс, который объединяет 3,34 миллиарда белковых последовательностей в 1,7 миллиарда кластеров метагеномных и природных белковых последовательностей (GigaRef), 46 миллионов синтетических последовательностей, полученных из структур (BackboneRef), и 16 миллионов множественных выравниваний последовательностей (OpenProteinSet). Эти модели могут изначально предсказывать влияние мутаций с нулевым выстрелом на пригодность, формировать структурные мотивы, обусловливая эволюционный или структурный контекст, и выполнять управляемую генерацию новых белков в определенных семействах. Изучение метагеномных и основанных на структуре синтетических данных из Атласа Дейхоффа увеличило скорость клеточной экспрессии генерируемых белков, подчеркнув реальную ценность расширения масштаба, разнообразия и новизны данных о последовательности белка. Архитектура Dayhoff представляет собой гибрид уровней Mamba в пространстве состояний и внимания к себе трансформатора, перемежающихся с модулями Mixture-of-Experts для максимизации пропускной способности при сохранении эффективности. Он изначально обрабатывает длинные контексты, позволяя моделировать как одиночные последовательности, так и развернутые MSA. Обучение с авторегрессионной целью как в N→C, так и…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: microsoft
Теги: jamba, protein-generation, endpoints_compatible
Лайков: 3 | Загрузок: 234
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
