Zamba2-7B-Instruct получен из Zamba2-7B путем тонкой настройки наборов данных следования инструкциям и чата. Zamba2-7B-Instruct — это гибридная модель, состоящая из пространства состояний (Mamba2) и блоков-трансформеров. Длинный контекст Zamba2-7B-Instruct был расширен с контекста 4К до 16К за счет регулировки частоты веревок в блоках внимания. Чтобы использовать инструкцию Zamba2-7B, установите трансформаторы из исходного кода: 1. git clone https://github.com/huggingface/transformers.git 2. cd Transformers && pip install . Чтобы установить зависимости, необходимые для запуска ядер Mamba2, установите mamba-ssm из исходного кода (из-за проблем совместимости с PyTorch), а также causal-conv1d: 1. git clone https://github.com/state-spaces/mamba.git 2. cd mamba && git checkout v2.1.0 && pip install . 3. pip install causal-conv1d Вы можете запустить модель без использования оптимизированных ядер Mamba2, но это не рекомендуется, поскольку это приведет к значительному увеличению задержки и использования памяти. Чтобы использовать контекстно-расширенную версию Zamba, загрузите модель с параметром uselongcontext=True, т. е.: Zamba2-7B-Instruct значительно превышает свой вес, достигая чрезвычайно высоких результатов в тестах по следованию инструкциям. Более того, благодаря своему уникальному гибриду…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: Zyphra
Теги: zamba2, conversational, endpoints_compatible
Лайков: 93 | Загрузок: 15,654
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
