Это базовая версия модели Jamba. С тех пор мы выпустили улучшенную, настроенную на инструкции версию Jamba-1.5-Mini. Для еще большей производительности обратите внимание на увеличенную версию Jamba-1.5-Large. Jamba — это современный гибридный LLM-трансформер SSM. Он обеспечивает прирост пропускной способности по сравнению с традиционными моделями на базе Transformer, а также превосходит или соответствует ведущим моделям своего класса размеров по большинству распространенных тестов. Jamba — это первая реализация Mamba в промышленном масштабе, которая открывает интересные возможности для исследований и приложений. Хотя эти первоначальные эксперименты показывают обнадеживающие результаты, мы ожидаем, что они будут еще больше улучшены за счет будущих оптимизаций и исследований. Эта модель карты предназначена для базовой версии Jamba. Это предварительно обученная генеративная текстовая модель смешанных экспертов (MoE) с 12 миллиардами активных параметров и в общей сложности 52 миллиардами параметров для всех экспертов. Он поддерживает длину контекста 256 КБ и может разместить до 140 000 токенов на одном графическом процессоре емкостью 80 ГБ. Для получения полной информации об этой модели прочтите технический документ и сообщение в блоге о выпуске. — Разработано: AI21 — Тип модели: Joint Attention и Mamba (Jamba) — Лицензия: Apache 2.0 — Длина контекста: 256 КБ — Дата прекращения знаний: 5 марта 2024 г.…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: ai21labs
Теги: jamba, mamba, moe, custom_code, endpoints_compatible
Лайков: 1,190 | Загрузок: 1,057
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
