Zamba2-2.7B — это гибридная модель, состоящая из блоков пространства состояний и преобразователей. В целом он соответствует архитектуре Zamba, которая состоит из магистральной сети Mamba, чередующейся с общими блоками трансформаторов (см. схему в разделе «Подробности модели»). Zamba2-2.7B имеет три основных улучшения по сравнению с Zamba1: 2.) Вместо одного блока общего внимания мы используем два блока общего внимания, которые чередуются по шаблону ABAB по всей сети. 3.) Мы применяем проектор LoRA к каждому общему блоку MLP, что позволяет сети специализировать MLP при каждом вызове общего уровня по глубине. LoRA позволяет нам добавить глубокую специализацию лишь для минимального увеличения общего количества параметров. Zamba2-2.7B использует токенизатор Mistral v0.1 и был предварительно обучен на токенах 3T текстовых и кодовых данных, полученных из открытых наборов веб-данных, включая Zyda. Впоследствии, на втором этапе, Zamba2-2.7B был отожжен на смеси 100B высококачественных токенов. Автономную реализацию Zamba2-2.7B на Pytorch можно найти здесь. 1. git clone https://github.com/huggingface/transformers.git 2. cd Transformers && pip install. Чтобы установить зависимости, необходимые для запуска ядер Mamba2, установите mamba-ssm из исходного кода…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Zyphra
Теги: zamba2, endpoints_compatible
Лайков: 79 | Загрузок: 1,012
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
