Этот репозиторий содержит трансформеры, совместимые с mamba-2.8b. Контрольные точки не тронуты, но полный файл config.json и токенизатор перенесены в этот репозиторий. Вам необходимо устанавливать трансформаторы из основного до тех пор, пока не будет выпущен Transformers=4.39.0. Мы также рекомендуем вам установить causalconv1d и mamba-ssm, используя: Если какой-либо из этих двух не установлен, будет использоваться «энергичная» реализация. В противном случае будут использоваться более оптимизированные ядра cuda. Для более точной настройки с помощью библиотеки peft мы рекомендуем сохранить модель в формате float32!
Модальности:
Генерация текста
Задача: Генерация текста
Автор: state-spaces
Теги: mamba, text-generation-inference, endpoints_compatible
Лайков: 111 | Загрузок: 7,407
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
