Zamba2-7B-Instruct-v2 получен из Zamba2-7B путем тонкой настройки наборов данных следования инструкциям и чата. Zamba2-7B-Instruct-v2 — это гибридная модель, состоящая из пространства состояний (Mamba2) и блоков преобразователей. Контекстное окно можно расширить с 4К до 16К длинного контекста, регулируя частоту веревки в блоках внимания (как описано ниже). Чтобы установить зависимости, необходимые для запуска ядер Mamba2, установите mamba-ssm из исходного кода (из-за проблем совместимости с PyTorch), а также causal-conv1d: 1. git clone https://github.com/state-spaces/mamba.git 2. cd mamba && git checkout v2.1.0 && pip install . 3. pip install causal-conv1d Вы можете запустить модель без использования оптимизированных ядер Mamba2, но это не рекомендуется, поскольку это приведет к значительному увеличению задержки и использования памяти. Чтобы использовать контекстно-расширенную версию Zamba, загрузите модель с параметром uselongcontext=True, т. е.: Zamba2-7B-Instruct-v2 превосходит свой вес, достигая чрезвычайно высоких результатов в тестах по следованию инструкциям. Более того, благодаря своей уникальной гибридной архитектуре SSM Zamba2-7B-Instruct-v2 обеспечивает чрезвычайно низкую задержку вывода и быструю генерацию при значительно меньшем объеме памяти…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: Zyphra
Теги: zamba2, conversational, endpoints_compatible
Лайков: 5 | Загрузок: 91
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
