Модель представлена в: Семейство GigaChat: Эффективное моделирование русского языка посредством сочетания экспертов. Архитектура Большая языковая модель, основанная на МО архитектуре, обученная специально под русский язык с нуля. Всего в моделях 20 миллиардов параметров, но во время эксперимента задействовано только 3 миллиарда. Контекст модели =131 тыс. токенов. — Подробные эксперты + Общие эксперты — Внимание к сгруппированным запросам — Встраивание вращающихся позиций — RMSNorm — SwiGLU в MLP Важно то, что в реализации MoE некоторые эксперты вызываются в зависимости от контекста, а другие используются всегда. Общие английские метрики. Для замера использовались популярные открытые репозитории LM Evaluation Harness.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ai-sage
Теги: deepseek, custom_code, ru, en
Лайков: 15 | Загрузок: 124
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
