inferencerlabs/GLM-5-MLX-4.8bit - Каталог нейросетей
Генерация текста

inferencerlabs/GLM-5-MLX-4.8bit

Добавлено:
inferencerlabs/GLM-5-MLX-4.8bit

Эта модель была заменена более качественной версией GLM5.1-Q4.8-INF, доступной здесь — Одиночный вывод ~ 16,6 токенов/с при 1000 токенов — Пакетный вывод ~ 31,8 общего количества токенов/с для шести выводов — Использование памяти: ~ 417 ГиБ Квант q4.8bit обычно достигает 1,281 недоумения в нашем тесте кодирования — Недоумение: измеряет достоверность прогнозирование базовых токенов (чем ниже, тем лучше). — Точность токена: процент правильно сгенерированных базовых токенов. — Пропущенная дивергенция: измеряет серьезность промахов; насколько токен был пропущен Мы не являемся создателем, создателем или владельцем какой-либо указанной модели. Каждая модель создана и предоставлена ​​третьими лицами. Модели не всегда могут быть точными или контекстуально подходящими. Вы несете ответственность за проверку информации перед принятием важных решений. Мы не несем ответственности за любой ущерб, убытки или проблемы, возникающие в результате его использования, включая потерю данных или неточности в контенте, созданном ИИ.

Модальности:
Генерация текста

Области применения:
Диалог / чат


Задача: Генерация текста
Автор: inferencerlabs
Теги: mlx, glm_moe_dsa, quantized, conversational, en, 6-bit
Лайков: 10  |  Загрузок: 2,242

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.