— Метод квантования: cyankiwi AWQ v1.0 — Биты: 8 — Размер группы: 32 — Набор калибровочных данных: nvidia/Nemotron-Post-Training-Dataset-v2 — Инструмент квантования: llm-compressor — v1.0.0 — Реализация MTP — v0.9.0 — Первоначальный квантованный выпуск без реализации MTP 👋 Присоединяйтесь к нашему сообществу Discord. 📖 Ознакомьтесь с техническим блогом GLM-4.7 и техническим отчетом (GLM-4.5). 📍 Используйте сервисы API GLM-4.7-Flash на платформе Z.ai API. 👉 Один клик для GLM-4.7. GLM-4.7-Flash — модель 30B-A3B МЧС. Будучи самой мощной моделью в классе 30B, GLM-4.7-Flash предлагает новый вариант легкого развертывания, сочетающий в себе производительность и эффективность. Для многооборотных агентских задач (τ²-Bench и Terminal Bench 2) включите режим «Сохраненного мышления». Для оценки τ^2-Bench мы добавили дополнительный запрос к взаимодействию с пользователем в сфере розничной торговли и телекоммуникаций, чтобы избежать режимов сбоя, вызванных неправильным завершением взаимодействия пользователями. Для домена «Авиакомпания» мы применили исправления домена, предложенные в отчете о выпуске Claude Opus 4.5. Для локального развертывания GLM-4.7-Flash поддерживает платформы вывода, включая vLLM и SGLang. Подробные инструкции по развертыванию доступны в официальном репозитории Github. vLLM и SGLang…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: cyankiwi
Теги: glm4_moe_lite, conversational, en, zh, endpoints_compatible, compressed-tensors
Лайков: 17 | Загрузок: 1,690
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
