Представляем GigaChat 3 Ultra Preview — флагманскую инструкцию-модель современной GigaChat. Модель на основе архитектуры Mixture-of-Experts (MoE) с 702B базами и 36B активными параметрами. Архитектура включает в себя латентное внимание с несколькими головками (MLA) и прогнозирование с несколькими токенами (MTP), за счет чего модель обеспечивает высокую пропускную способность (пропускную способность) при выводе. Для высокопроизводительного инференса доступна версия модели fp8 — GigaChat3-702B-A36B-preview. GigaChat 3 Ultra Preview использует кастомную MoE-архитектуру: Вместо стандартного Multi-head Внимание, модель использует MLA. MLA обеспечивает эффективные выводы для сокращения кэша значения ключа (KV) в скрытом векторе, что значительно снижает требования к памяти и усложняет обработку. Модель обучена с использованием задач Multi-Token Prediction (MTP). Эта модель позволяет предсказать несколько токенов за один проход, что увеличивает вероятность генерации до 40% с помощью техники спекулятивной/параллельной генерации. Мы добавили в набор дат 10 языков — от китайского и арабского до узбекского и казахского, а также расширили набор источников: книги, академические данные, наборы дат по коду и математике. Все данные передают дедупликацию,…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ai-sage
Теги: deepseek_v3, moe, conversational, ru, en
Лайков: 12 | Загрузок: 34
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
