Zamba-7B-v1 — это гибридная модель Mamba, модели в пространстве состояний и преобразователей. Он использует магистраль Mamba с общим слоем трансформатора каждые 6 блоков. Замба обучался с использованием прогнозирования следующего токена. Он использует токенизатор Mistral v0.1. Мы пришли к этой архитектуре после серии абляции в небольших масштабах. Zamba-7B-v1 был предварительно обучен на токенах 1T текстовых и кодовых данных, полученных из открытых наборов веб-данных. Впоследствии, на втором этапе, Zamba была обработана на смеси 50B высококачественных токенов. Наш технический отчет с описанием обучения Zamba доступен здесь. Чтобы загрузить Zamba, клонируйте вилку трансформеров Zyphra: 1. git clone https://github.com/Zyphra/transformerszamba 2. cd Transformerszamba 3. Установите репозиторий: pip install -e . Чтобы запустить оптимизированные реализации Mamba на устройстве CUDA, вам необходимо установить mamba-ssm и causal-conv1d: вы можете запускать модель без использования оптимизированных ядер Mamba, но это не рекомендуется, поскольку это приведет к значительному увеличению задержки. Для запуска на ЦП укажите usemambakernels=False при загрузке модели с помощью AutoModelForCausalLM.frompretrained«. Чтобы загрузить другую контрольную точку, используйте, например, для итерации 2500, The…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Zyphra
Теги: zamba, endpoints_compatible
Лайков: 29 | Загрузок: 4,140
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
