GLM-5-4bit
Эта модель mlx-community/GLM-5-4bit была преобразована в формат MLX из zai-org/GLM-5 с использованием mlx-lm версии 0.30.7. Модальности:Генерация текста Области...
Эта модель mlx-community/GLM-5-4bit была преобразована в формат MLX из zai-org/GLM-5 с использованием mlx-lm версии 0.30.7. Модальности:Генерация текста Области...
> [!TIP] > Поддержите эту работу → · X · GitHub · Документ REAP · Cerebras REAP Это...
— Одиночный вывод ~14,1 токена/с при 1000 токенов (отладочная сборка) — Пакетный вывод ~20,4 общего токена/с для двух...
> [!TIP] > Поддержите эту работу → · X · GitHub · Документ REAP · Cerebras Квантование REAP...
Эта модель была заменена более качественной версией GLM5.1-Q4.8-INF, доступной здесь — Одиночный вывод ~ 16,6 токенов/с при 1000...
«»»»»»не рекомендую использовать это, пожалуйста, дайте мне знать, если вы это сделаете.»»»»» . Это удаленная версия zai-org/GLM-5 (744B...
ПРИМЕЧАНИЕ. ikllama.cpp` также может запускать существующие GGUF от bartowski, unsloth, mradermacher и т. д., если вы хотите опробовать...
👋 Присоединяйтесь к нашему сообществу WeChat или Discord. 📖 Посетите технический блог GLM-5. 📍 Используйте сервисы API GLM-5...
ПРИМЕЧАНИЕ. ikllama.cpp` также может запускать существующие GGUF от bartowski, unsloth, mradermacher и т. д., если вы хотите опробовать...
👋 Присоединяйтесь к нашему сообществу WeChat или Discord. 📖 Посетите технический блог GLM-5. 📄 Прочтите статью: GLM-5: от...