Jamba Reasoning 3B от AI21 — это высокопроизводительная модель рассуждения, которая объединяет лучшие результаты по интеллектуальным тестам и высокоэффективной обработке в компактной сборке 3B. Полный текст сообщения в блоге можно прочитать здесь. Гибридный дизайн сочетает в себе внимание Трансформера и Мамбы (модель в пространстве состояний). Слои Mamba более эффективны для обработки последовательностей, а уровни внимания фиксируют сложные зависимости. Такое сочетание снижает нагрузку на память, повышает пропускную способность и обеспечивает плавную работу модели на ноутбуках, графических процессорах и даже мобильных устройствах, сохраняя при этом впечатляющее качество. Модель превосходит конкурентов, таких как Gemma 3 4B, Llama 3.2 3B и Granite 4.0 Micro, по совокупному показателю интеллекта, который в среднем составляет 6 стандартных тестов. В отличие от большинства компактных моделей, Jamba Reasoning 3B поддерживает чрезвычайно длинные контексты. Слои Mamba позволяют модели обрабатывать входные данные без хранения огромных кэшей внимания, поэтому она масштабируется до 256 000 токенов, сохраняя при этом практичность вывода. Это делает его подходящим как для периферийного развертывания, так и для рабочих нагрузок центров обработки данных. — Количество параметров: 3B — Количество слоев: 28 (26 мамба, 2 внимания) — Количество головок внимания: 20 MQA (20 для Q, 1 для KV) — Размер словаря: 64 КБ — Контекст…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ai21labs
Теги: gguf, endpoints_compatible, conversational
Лайков: 31 | Загрузок: 381
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
