1. Доступ к точке входа vllm в формате vllm. 2. Доступ к точке входа в vllm. GLM-4-9B-Chat-GPTQ-Int8-量化修复，这个模型更鲁棒。 GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4系列中的开源版本。 在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出较高的性能。 除了能进行多轮对话，GLM-4-9B-Chat还具备网页浏览、代码执行、自定义工具调用(Вызов функции)和长文本推理(支持最大 128K上下文）等高级功能。 本代模型增加了多语言支持,支持包括日语,韩语,德语在内的26 种语言。我们还推出了支持 1M 上下文长度（约 200 中文字符）的模型。 调优了现有AWQ или GPTQ量化算法的量化策略。带有量化修复标签的Int3模型, В AWQ используется GPTQ, Int8 или Int8. 2. Использование технологии AWQ и GPTQ, а также использование технологии GPTQ и поддержка технологии GPTQ. Использование GPTQ для vLLM и AWQ для AWQ.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: model-scope
Теги: chatglm, feature-extraction, gptq, int4, 量化修复, vLLM, custom_code, 4-bit
Лайков: 6 | Загрузок: 134
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
