我们在做什么: — 推理加速:实现了 Eagle3 для обучения на Qwen3-8B (более 20 000 загрузок)，显著提升LLM推理速度 — Производительность графического процессора: AIGC, поддержка технологии QAT+. Компания DPO сотрудничает с компанией Blackwell в компании Blackwell 🎁 限时福利:如果你在做大模型应用部署,我们提供免费的推理优化咨询（30 минут 钟技术诊断）,帮你分析: — 当前部署方案的性能瓶颈 — 成本优化的具体路径 — 适合你场景的推理加速方案 Формат: NVFP4 — оптимальное частичное квантование весов и активации для NVFP4. Базовая модель: zai-org/GLM-4.7. Как это было сделано: автоматическое квантование с помощью NVIDIA Model-Optimizer (NVFP4) с использованием калибровочного набора по умолчанию. (cnn_dailymail и nemotron-post-training-dataset-v2) Проверьте исходную карточку модели, чтобы получить информацию об этой модели. ———————————+————+ +=================================+===========+ +———————+————+ +————————————+————+ +—-+————+ +————————————+————+ +————————————+————+ +———————+————+ +————————————+————+ +————————————+————+ +——————-+————+ +————————————+————+…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Tengyunw
Теги: glm4_moe, conversational, 8-bit, modelopt
Лайков: 6 | Загрузок: 39
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
