FP8. Динамическое квантование с помощью Unsloth для быстрого и качественного вывода. Вы можете прочитать наше руководство по развертыванию vLLM. ——————|—————|——————————|————-| Для локального развертывания GLM-4.7-Flash поддерживает платформы вывода, включая vLLM и SGLang. Подробные инструкции по развертыванию доступны в официальном репозитории Github. vLLM и SGLang поддерживают GLM-4.7-Flash только в своих основных ветках. + с помощью pip install sglang из исходного кода, затем обновите преобразователи до последней основной ветки. Если наша работа окажется полезной в вашем исследовании, рассмотрите возможность цитирования следующей статьи: «`bibtex @misc{5team2025glm45agentreasoningcoding, title={GLM-4.5: Базовые модели агентов, рассуждений и кодирования (ARC)}, автор={GLM Team and Aohan Zeng and Xin Lv and Qinkai Zheng and Zhenyu Hou and Bin Chen and Chengxing Се и Цуньсян Ван и Да Инь и Хао Цзэн и Цзяцзе Чжан и Кэдун Ван и Люсен Чжун и Миндао Лю и Руй Лу и Шулин Цао и Сяохань Чжан и Сюаньчэн Хуан и Яо Вэй и Ян Чэн и Ифань Ань и Илинь Ню и Юаньхао Вэнь и Юши Бай и Чжэнсяо Ду и Цзихань Ван и Цзилинь Чжу и Бохан Чжан и Боси Вен, и Боуэн Ву, и…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: unsloth
Теги: glm4_moe_lite, unsloth, conversational, en, zh, endpoints_compatible, compressed-tensors
Лайков: 28 | Загрузок: 136,204
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
