— Одиночный вывод ~14,1 токена/с при 1000 токенов (отладочная сборка) — Пакетный вывод ~20,4 общего токена/с для двух выводов — Использование памяти: ~419,30 ГиБ Q4.8-INF обычно достигает точности практически без потерь в нашем тесте кодирования, используя независимый от данных метод INF, настроенный на бюджет памяти 512 ГБ. Квантование (bpw)PerplexityToken AccuracyПропущенная дивергенция Q2.5-INF1.4687586.10%34.79% Q3.5197.044.05%72.00% Q4.51.3593789.75%28.98% Q4.81.2656293.50%19.57% Q4.8-INF1.2109397.70%10.65% Q5.51.2421894.60%17.55% Q6.51.2187596.85%16.03% Q8.51.2187597.65%9.92% База1.20312100.0%0.000% — Недоумение: измеряет достоверность прогнозирования базовых токенов (чем ниже, тем лучше). — Точность токена: процент правильно сгенерированных базовых токенов. — Пропущенная дивергенция: измеряет серьезность промахов; насколько токен был пропущен Мы не являемся создателем, создателем или владельцем какой-либо указанной модели. Каждая модель создана и предоставлена третьими лицами. Модели не всегда могут быть точными или контекстуально подходящими. Вы несете ответственность за проверку информации перед принятием важных решений. Мы не несем ответственности за любой ущерб, убытки или проблемы, возникшие в результате его использования, включая потерю данных или неточности…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: inferencerlabs
Теги: mlx, glm_moe_dsa, quantized, conversational, en
Лайков: 9 | Загрузок: 3,617
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
