Zamba2-1.2B-Instruct-v2 является производным от базовой модели Zamba2-1.2B посредством обучения SFT и DPO по следованию инструкциям и диалоговым наборам данных. Zamba2-1.2B-Instruct-v2 представляет собой гибридную модель, состоящую из пространства состояний (Mamba2) и блоков трансформаторов. Чтобы установить зависимости, необходимые для запуска ядер Mamba2, установите mamba-ssm из исходного кода (из-за проблем совместимости с PyTorch), а также causal-conv1d: 1. git clone https://github.com/state-spaces/mamba.git 2. cd mamba Например, Zamba2-1.2B-Instruct-v2 превосходит Gemma2-2B-Instruct, очень сильную модель в 2 раза больше своего размера. Благодаря своей уникальной гибридной архитектуре SSM Zamba2-1.2B-Instruct-v2 обеспечивает чрезвычайно низкую задержку вывода и быструю генерацию со значительно меньшим объемом памяти, чем сопоставимые модели на основе трансформаторов. Время до первого токена…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: Zyphra
Теги: zamba2, conversational, endpoints_compatible
Лайков: 3 | Загрузок: 334
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
