Этот репозиторий квантует модель с использованием квантования без данных (набор калибровочных данных не требуется). По состоянию на 26 февраля 2026 г. убедитесь, что в вашей системе установлен cuda12.8. Затем создайте новую среду Python (например, python3.12 venv) и запустите: 👋 Присоединяйтесь к нашему сообществу WeChat или Discord. 📖 Посетите технический блог GLM-5. 📍 Используйте сервисы API GLM-5 на платформе Z.ai API. 👉 Один клик для GLM-5. Мы запускаем GLM-5, нацеленный на комплексное системное проектирование и долгосрочные агентские задачи. Масштабирование по-прежнему остается одним из наиболее важных способов повышения эффективности искусственного общего интеллекта (AGI). По сравнению с GLM-4.5, GLM-5 масштабируется с 355B параметров (32B активных) до 744B параметров (40B активных) и увеличивает объем данных предварительного обучения с 23T до 28,5T токенов. GLM-5 также интегрирует DeepSeek Sparse Attention (DSA), что значительно снижает затраты на развертывание, сохраняя при этом емкость долгосрочного контекста. Обучение с подкреплением направлено на преодоление разрыва между компетентностью и совершенством в предварительно обученных моделях. Однако его масштабное внедрение для LLM является проблемой из-за неэффективности обучения RL. С этой целью мы разработали slime — новую асинхронную инфраструктуру обучения, которая существенно улучшает обучение…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: QuantTrio
Теги: glm_moe_dsa, vLLM, AWQ, conversational, endpoints_compatible, 4-bit, awq
Лайков: 6 | Загрузок: 210
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
