👋 Присоединяйтесь к нашему сообществу WeChat или Discord. 📖 Посетите технический блог GLM-5. 📍 Используйте сервисы API GLM-5 на платформе Z.ai API. 👉 Один клик для GLM-5. Мы запускаем GLM-5, нацеленный на комплексное системное проектирование и долгосрочные агентские задачи. Масштабирование по-прежнему остается одним из наиболее важных способов повышения эффективности искусственного общего интеллекта (AGI). По сравнению с GLM-4.5, GLM-5 масштабируется с 355B параметров (32B активных) до 744B параметров (40B активных) и увеличивает объем данных предварительного обучения с 23T до 28,5T токенов. GLM-5 также интегрирует DeepSeek Sparse Attention (DSA), что значительно снижает затраты на развертывание, сохраняя при этом емкость долгосрочного контекста. Обучение с подкреплением направлено на преодоление разрыва между компетентностью и совершенством в предварительно обученных моделях. Однако его масштабное внедрение для LLM является проблемой из-за неэффективности обучения RL. С этой целью мы разработали slime, новую асинхронную инфраструктуру RL, которая существенно повышает производительность и эффективность обучения, обеспечивая более детальные итерации после обучения. Благодаря достижениям как в предварительном обучении, так и после обучения, GLM-5 обеспечивает значительное улучшение по сравнению с GLM-4.7 в широком диапазоне академических…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: zai-org
Теги: glm_moe_dsa, conversational, en, zh, eval-results, endpoints_compatible
Лайков: 1,710 | Загрузок: 210,176
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
