— Метод квантования: cyankiwi AWQ v1.0 — Биты: 4 — Размер группы: 32 — Набор калибровочных данных: nvidia/Llama-Nemotron-Post-Training-Dataset — Инструмент квантования: llm-compressor — tensor-parallel-size > 2 требует —enable-expert-parallel — Нет реализации MTP — v0.9.0 — Начальная квантованная версия без реализации MTP 👋 Присоединяйтесь к нашему сообществу Discord. 📖 Ознакомьтесь с техническим блогом GLM-4.5, техническим отчетом и технической документацией Zhipu AI. 📍 Используйте сервисы API GLM-4.5 на платформе Z.ai API (глобальная) или открытой платформе Zhipu AI (материковый Китай). 👉 Один клик для GLM-4.5. Модели серии GLM-4.5 представляют собой базовые модели, предназначенные для интеллектуальных агентов. GLM-4.5 имеет 355 миллиардов общих параметров и 32 миллиарда активных параметров, тогда как GLM-4.5-Air имеет более компактную конструкцию с 106 миллиардами общих параметров и 12 миллиардами активных параметров. Модели GLM-4.5 объединяют рассуждения, кодирование и возможности интеллектуальных агентов для удовлетворения сложных требований приложений интеллектуальных агентов. И GLM-4.5, и GLM-4.5-Air представляют собой гибридные модели рассуждения, которые обеспечивают два режима: режим мышления для сложных рассуждений и использования инструментов и режим без мышления для немедленных ответов. Мы открыли базу данных…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: cyankiwi
Теги: glm4_moe, conversational, en, zh, endpoints_compatible, compressed-tensors
Лайков: 28 | Загрузок: 1,526
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
