Для повышения производительности загрузите и включите совместимый спекулятивный декодер. Вывод текста ~31 токен/с @ 1000 токенов ~ 148,5 ГиБ Вывод текста (с MTP) ~ 37,3 токен/с @ 1000 токенов ~ 152,9 ГиБ Квантованные веса базовой модели были переупакованы для преобразования без потерь. Мы не являемся создателем, создателем или владельцем любой из перечисленных моделей. Каждая модель создается и предоставляется третьими лицами. Модели не всегда могут быть точными или контекстуально подходящими. Вы несете ответственность за проверку информации перед принятием важных решений. Мы не несем ответственности за любой ущерб, убытки или проблемы, возникающие в результате его использования, включая потерю данных или неточности в контенте, созданном ИИ.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: inferencerlabs
Теги: mlx, deepseek_v4, conversational, en
Лайков: 3 | Загрузок: 301
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
