См. DeepSeek-V4-Flash с MTP в действии: демонстрационные видео Эта модель проекта содержит извлеченные слои Multi-Token Prediction (MTP), которые будут использоваться вместе с моделью DeepSeek-V4-Flash-MLX в качестве спекулятивного декодера для повышения производительности. Вывод текста ~31 токен/с @ 1000 токенов ~ 148,5 ГБ Вывод текста (с MTP) ~ 37,3 токен/с @ 1000 токенов ~ 152,9 ГБ Мы не являемся создателем, создателем или владельцем какой-либо из перечисленных моделей. Каждая модель создается и предоставляется третьими лицами. Модели не всегда могут быть точными или контекстуально подходящими. Вы несете ответственность за проверку информации перед принятием важных решений. Мы не несем ответственности за любой ущерб, убытки или проблемы, возникающие в результате его использования, включая потерю данных или неточности в контенте, созданном ИИ.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: inferencerlabs
Теги: mlx, deepseek_v4_mtp, quantized, en, 8-bit
Лайков: 3 | Загрузок: 202
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
