Мы выявили и исправили проблему, связанную с неправильной перестановкой некоторых прогнозов, которая влияет на качество генерации. Чтобы использовать новую версию модели, загрузите следующее: Evo — это биологическая базовая модель, способная к долгоконтекстному моделированию и проектированию. Evo использует архитектуру StripedHyena, позволяющую моделировать последовательности с разрешением в один нуклеотид и на уровне байтов с почти линейным масштабированием вычислительных ресурсов и памяти относительно длины контекста. Evo имеет 7 миллиардов параметров и обучен на OpenGenome, наборе данных полного генома прокариот, содержащем около 300 миллиардов токенов. Мы описываем Evo в статье «Моделирование и дизайн последовательностей от молекулярного до геномного масштаба с помощью Evo». В рамках нашей приверженности открытой науке мы публикуем веса 15 промежуточных контрольных точек перед тренировкой для фазы 1 и фазы 2 предварительной тренировки. Контрольные точки доступны как ветки соответствующего репозитория HuggingFace. Evo-1 (Фаза 2) — наша модель с более длинным контекстом в семействе Evo, обученная на длине контекста 131 тыс. и протестированная на генерации последовательностей длиной > 650 тыс. StripedHyena — это глубокая обработка сигналов, гибридная архитектура, состоящая из многоголового внимания и закрытых сверток, организованных в Hyena…
Модальности:
Генерация текста
Области применения:
Биология
Задача: Генерация текста
Автор: togethercomputer
Теги: stripedhyena, long context, deep signal processing, hybrid, biology, genomics, custom_code
Лайков: 114 | Загрузок: 4,496
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
