Модель большого языка Mistral-DNA-v1-138M-bacteria (LLM) представляет собой предварительно обученную текстовую модель генеративной ДНК с 17,31 млн параметров x 8 экспертов = 138,5 млн параметров. Он создан на основе модели Mistral-7B-v0.1, которая была упрощена для ДНК: уменьшено количество слоев и скрытый размер. Модель была предварительно обучена с использованием около 700 бактериальных геномов с последовательностями ДНК размером 10 КБ. Как и Mistral-7B-v0.1, это модель преобразователя со следующими вариантами архитектуры: — Внимание по групповому запросу — Внимание по скользящему окну — Резервный байтовый токенизатор BPE Убедитесь, что вы используете стабильную версию Transformers, 4.34.0 или новее. Mistral-DNA-v1-138M-бактерии — это предварительно обученная базовая модель ДНК.
Модальности:
Генерация текста
Области применения:
Биология
Задача: Генерация текста
Автор: RaphaelMourad
Теги: mixtral, pretrained, mistral, DNA, biology, genomics, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 70
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
