Zamba2-1.2B-instruct получена из Zamba2-1.2B путем тонкой настройки наборов данных следования инструкциям и чата. В частности: 1. SFT базовой модели Zamba2-1.2B на ultrachat200k и Infinity-Instruct 2. DPO контрольной точки SFT на ультраобратной бинаризации, orcadpopairs и OpenHermesPreferences. Zamba2-1.2B-Instruct — это гибридная модель, состоящая из пространства состояний (Mamba2) и блоков преобразователей. Чтобы скачать инструкцию Zamba2-1.2B, установите трансформаторы из исходного кода: 1. git clone https://github.com/huggingface/transformers.git 2. cd Transformers && pip install . Чтобы установить зависимости, необходимые для запуска ядер Mamba2, установите mamba-ssm из исходного кода (из-за проблем совместимости с PyTorch), а также causal-conv1d: 1. git clone https://github.com/state-spaces/mamba.git 2. cd mamba && git checkout v2.1.0 && pip install . 3. pip install causal-conv1d Вы можете запустить модель без использования оптимизированных ядер Mamba2, но это не рекомендуется, поскольку это приведет к значительному увеличению задержки и использования памяти. Zamba2-1.2B-Instruct обеспечивает лучшую производительность выполнения инструкций и многооборотного чата для модели такого размера и соответствует более мощным моделям, значительно большим. Например,…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: Zyphra
Теги: zamba2, conversational, endpoints_compatible
Лайков: 30 | Загрузок: 87,826
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
