Это крошечная версия zai-org/GLM-5.2, созданная для тестирования и разработки. — Базовая модель: zai-org/GLM-5.2 — Архитектура: glmmoedsa (GLM MoE with DeepSeek Sparse Attention) — Общие параметры: 0.85B — Активированные параметры: ~0.77B Следующие параметры были уменьшены по сравнению с исходной моделью: Файл Single safetensors, содержащий 194 тензора в float32. Слои 0-1 имеют плотную MLP, слои 2-5 имеют MoE MLP. Слои 0-2 имеют полный вес индексатора DSA, слои 3-5 используют общий индексатор. 1. Проверена оригинальная конфигурация GLM-5.2 (78 слоев, 256 экспертов, hidden_size=6144) 2. Уменьшены все размеры до целевых параметров ~1B при сохранении архитектуры 3. Создана модель с float32 dtype для тренировочной устойчивости 4. Тонко настроен на набор данных копипасты до недоумения ~ 1,0 5. Проверенная структура контрольной точки соответствует исходным соглашениям об именовании моделей 6. Проверенные нагрузки модели, выводы и правильная генерация — Модель использует float32 dtype (оригинал использует bfloat16) для обеспечения правильной инициализации и обучения крошечной модели — Архитектура сохраняет как плотные, так и разреженные типы слоев MLP, внимание MLA со сжатым Q/KV и индексатор DSA с полными/общими шаблонами — Модель была точно настроена на игрушку…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: inference-optimization
Теги: glm_moe_dsa, conversational, endpoints_compatible
Лайков: 4 | Загрузок: 4,632
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
