Мы выявили и исправили проблему, связанную с неправильной перестановкой некоторых прогнозов, которая влияет на качество генерации. Чтобы использовать новую версию модели, загрузите следующее: Evo — это биологическая базовая модель, способная к долгоконтекстному моделированию и проектированию. Evo использует архитектуру StripedHyena, позволяющую моделировать последовательности с разрешением в один нуклеотид и на уровне байтов с почти линейным масштабированием вычислительных ресурсов и памяти относительно длины контекста. Evo имеет 7 миллиардов параметров и обучен на OpenGenome, наборе данных полного генома прокариот, содержащем около 300 миллиардов токенов. Технические подробности об Evo можно найти в нашем препринте и сопроводительных сообщениях в блоге. Evo был разработан совместно Arc Institute и TogetherAI. В рамках нашей приверженности открытой науке мы публикуем веса 15 промежуточных контрольных точек перед тренировкой для фазы 1 и фазы 2 предварительной тренировки. Контрольные точки доступны как ветки соответствующего репозитория HuggingFace. Evo-1 (Фаза 1) — наша первая модель в семействе Evo, обученная на длине контекста 8 КБ. StripedHyena — это гибридная архитектура глубокой обработки сигналов, состоящая из многоголового внимания и закрытых извилин, организованных в блоки Hyena,…
Модальности:
Генерация текста
Области применения:
Биология
Задача: Генерация текста
Автор: togethercomputer
Теги: stripedhyena, long context, deep signal processing, hybrid, biology, genomics, custom_code
Лайков: 10 | Загрузок: 1,791
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
