ZAYA1 — это модель MoE с активным радиусом действия 800 м и общими параметрами 8,3 Б. Это первая модель, полностью обученная на аппаратном, программном и сетевом стеке AMD. Производительность нашей базовой модели ZAYA1 чрезвычайно конкурентоспособна с моделями серии SoTA Qwen3 сопоставимого масштаба и превосходит сопоставимые западные модели с открытым исходным кодом, такие как SmolLM3 и Phi4. База ZAYA1 особенно хорошо справляется со сложными математическими задачами и задачами рассуждения STEM, почти достигая производительности моделей мышления SoTA Qwen3 при настройках high pass@k даже до явного пост-обучения рассуждения, и превосходит другие сильные модели рассуждения, такие как Phi4-рассуждение и Deepseek-R1-Distill. Подробности о наших усилиях по предварительному обучению, оптимизации аппаратного обеспечения и тестах базовой модели ZAYA1 описаны в прилагаемом техническом отчете. Архитектура ZAYA1 включает в себя несколько инноваций, разработанных в Zyphra. К ним относятся: — Сжатое сверточное внимание (CCA): этот новый механизм внимания полностью выполняет внимание в скрытом пространстве, что позволяет значительно сократить количество параметров, вычисления предварительного заполнения и размер кэша KV по сравнению с альтернативными механизмами внимания, а также является более…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Zyphra
Теги: zaya, conversational, endpoints_compatible
Лайков: 28 | Загрузок: 51
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
