Zamba2-2.7B-Instruct получен из Zamba2-2.7B путем тонкой настройки наборов данных следования инструкциям и чата. В частности: 1. SFT базовой модели Zamba2-2.7B на ultrachat200k и Infinity-Instruct 2. DPO контрольной точки SFT на ультраобратной бинаризации, orcadpopairs и OpenHermesPreferences Zamba2-2.7B-Instruct — это гибридная модель, состоящая из пространства состояний (Mamba2) и блоков преобразователей. Чтобы использовать инструкцию Zamba2-1.2B, установите преобразователи из исходного кода: 1. git clone https://github.com/huggingface/transformers.git 2. cd Transformers && pip install . Чтобы установить зависимости, необходимые для запуска ядер Mamba2, установите mamba-ssm из исходного кода (из-за проблем совместимости с PyTorch), а также causal-conv1d: 1. git clone https://github.com/state-spaces/mamba.git 2. cd mamba && git checkout v2.1.0 && pip install . 3. pip install causal-conv1d Вы можете запустить модель без использования оптимизированных ядер Mamba2, но это не рекомендуется, поскольку это приведет к значительному увеличению задержки и использования памяти. Zamba2-2.7B-Instruct значительно превосходит свой вес, достигая чрезвычайно высоких результатов в тестах по выполнению инструкций, значительно превосходя по производительности Gemma2-2B-Instruct того же размера и…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: Zyphra
Теги: zamba2, conversational, endpoints_compatible
Лайков: 82 | Загрузок: 139
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
