GigaChat 3.1 Ultra — флагманская модель семейства GigaChat. Это крупномасштабная модель Mixture-of-Experts (MoE) с 702B общих параметров и 36B активных параметров, предназначенная для рабочих нагрузок многоязычных помощников, рассуждений, кода, использования инструментов и развертывания в больших кластерах. Для высокопроизводительного вывода доступна версия модели fp8 — GigaChat3.1-702B-A36B. Также доступна версия bf16 — GigaChat3.1-702B-A36B-bf16. GigaChat 3.1 Ultra использует специальную архитектуру MoE со следующими ключевыми компонентами. Модель имеет 702B общих параметров и 36B активных параметров во время вывода. Это позволяет агрессивно масштабировать емкость модели, сохраняя при этом бюджет активных вычислений намного ниже, чем у модели с такой же большой плотностью. Вместо стандартного многоголового внимания модель использует MLA, который сжимает кэш KV в скрытое представление. Это уменьшает использование памяти и повышает производительность вывода, особенно в настройках с длинным контекстом. Модель обучена с помощью MTP, что позволяет ей прогнозировать несколько токенов за один прямой проход. В производственных системах это можно использовать с методами спекулятивного или параллельного декодирования для повышения пропускной способности. Базовый GigaChat 3…
Модальности:
Генерация текста
Области применения:
Следование инструкциям Диалог / чат Вызов функций (Tool use) Мультиязычность
Задача: Генерация текста
Автор: ai-sage
Теги: gguf, instruct, moe, multilingual, long-context, tool-use, ru, en
Лайков: 16 | Загрузок: 550
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
