Zamba-7B-v1-phase1 — это гибридная модель Mamba, модели в пространстве состояний и преобразователей. Он использует магистраль Mamba с общим слоем трансформатора каждые 6 блоков. Замба обучался с использованием прогнозирования следующего токена. Он использует токенизатор Mistral v0.1. Мы пришли к этой архитектуре после серии абляции в небольших масштабах. Zamba-7B-v1-phase-1 был предварительно обучен на токенах 1T текстовых и кодовых данных, полученных из открытых наборов веб-данных. В отличие от Zamba-v1, эта модель представляет собой контрольную точку после чистой предварительной обработки только наборов веб-данных. Мы предполагаем его использование в первую очередь в качестве инструмента сравнения для изучения эффектов нашего процесса отжига. Наш технический отчет с описанием обучения Zamba доступен здесь. Чтобы скачать Zamba, клонируйте вилку трансформеров Zyphra: 1. git clone https://github.com/Zyphra/transformerszamba 2. cd Transformerszamba 3. Установите репозиторий: pip install -e . Чтобы запустить оптимизированные реализации Mamba на устройстве CUDA, вам необходимо установить mamba-ssm и causal-conv1d: вы можете запускать модель без использования оптимизированных ядер Mamba, но это не рекомендуется, поскольку это приведет к значительному увеличению задержки. Для запуска на процессоре укажите usemambakernels=False при загрузке…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Zyphra
Теги: zamba, endpoints_compatible
Лайков: 5 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
