— Одиночный вывод ~96 токенов/с при 1000 токенов — Вывод визуального представления: не включен в эту версию только для этой языковой модели (LM) — Использование памяти: ~22,3 ГиБ q5.5-битный квант обычно достигает 95,05% качества без потерь в нашем тесте кодирования — Недоумение: измеряет достоверность прогнозирования базовых токенов (чем меньше, тем лучше) — Точность токена: процент правильно сгенерированных базовых токенов — Пропущено Расхождение: измеряет серьезность промахов; насколько токен был пропущен Мы не являемся создателем, создателем или владельцем какой-либо указанной модели. Каждая модель создана и предоставлена третьими лицами. Модели не всегда могут быть точными или контекстуально подходящими. Вы несете ответственность за проверку информации перед принятием важных решений. Мы не несем ответственности за любой ущерб, убытки или проблемы, возникающие в результате его использования, включая потерю данных или неточности в контенте, созданном ИИ.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: inferencerlabs
Теги: mlx, qwen3_5_moe, quantized, conversational, en, 5-bit
Лайков: 9 | Загрузок: 465
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
