Представляем GigaChat3-10B-A1.8B — диалоговую модель встроенную GigaChat. Модель на основе архитектуры Mixture-of-Experts (MoE) с 10B базами и 1,8B активных параметров. Архитектура включает в себя латентное внимание с несколькими головками (MLA) и прогнозирование с несколькими токенами (MTP), за счет чего модель обеспечивает высокую пропускную способность (пропускную способность) при выводе. Модель обучения поверхности нашей версии местоположения (GigaChat3-10B-A1.8B-base) с использованием высококачественных SFT-данных. Для высокопроизводительного инференса доступна версия модели fp8 — GigaChat3-10B-A1.8B-fp8. Вместо стандартного модели Multi-head Attention используется MLA. MLA обеспечивает эффективные выводы для сокращения кэша значения ключа (KV) в скрытом векторе, что значительно снижает требования к памяти и усложняет обработку. Модель обучена с использованием задач Multi-Token Prediction (MTP). Эта модель позволяет предсказать несколько токенов за один проход, что увеличивает вероятность генерации до 40% с помощью техники спекулятивной/параллельной генерации. Модель обучена на 20Т токенов. Мы добавили 10 языков — от китайского и арабского до узбекского и казахского, а также расширили набор источников: книги, академические данные, наборы дат по коду и…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ai-sage
Теги: deepseek_v3, moe, conversational, ru, en
Лайков: 20 | Загрузок: 5,032
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
