Совместимая версия Jamba-v0.1 в трансформаторах, которая больше не требует trustremotecode=True. Jamba — это современный гибридный SSM-Transformer LLM. Он обеспечивает прирост пропускной способности по сравнению с традиционными моделями на основе трансформаторов, при этом превосходит или соответствует ведущим моделям своего класса размеров по большинству распространенных тестов. Jamba — это первая производственная реализация Mamba, которая открывает интересные возможности для исследований и применения. Хотя эти первоначальные эксперименты показывают обнадеживающие результаты, мы ожидаем, что они будут еще более усилены с будущими оптимизациями и исследованиями. Эта карточка модели предназначена для базовой версии Jamba. Это предварительно подготовленная генеративная текстовая модель со смесью экспертов (MoE) с 12B активными параметрами и в общей сложности 52B параметрами по всем экспертам. Он поддерживает длину контекста 256K и может вмещать до 140K токенов на одном графическом процессоре объемом 80 ГБ. Для получения полной информации об этой модели, пожалуйста, прочитайте сообщение в блоге о выпуске. — Разработано: AI21 — Тип модели: Joint Attention и Mamba (Jamba) — Лицензия: Apache 2.0 — Длина контекста: 256K — Дата окончания сбора знаний: 5 марта 2024 Jamba требует использования трансформаторов версии 4.40.0 или выше: Для запуска оптимизированной Mamba…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: TechxGenus
Теги: jamba, mamba, moe, endpoints_compatible
Лайков: 3 | Загрузок: 21
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
