Это базовые модели Mamba, преобразованные в GGUF для использования с llama.cpp с различными точностями (2, 3, 4, 5, 6, 8, 16 и 32-разрядными). Нажмите «Файлы и версии» в верхней части страницы, чтобы выбрать нужный размер модели, а затем нажмите кнопку «📦LFS↓» рядом с нужным квантованием. Вот таблица, адаптированная из TheBloke, объясняющая различные точности:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: devingulliver
Теги: gguf, merge, endpoints_compatible
Лайков: 3 | Загрузок: 1,091
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
