Эта модель представляет собой квантованную версию DeepSeek-V3.1-Terminus смешанной точности, в которой плотный слой сохраняет квантование FP8 исходной модели, а слои MoE используют веса INT4 и активацию FP8, также называемую W4AFP8. Точность, указанная ниже, была получена с помощью SGLang V0.5.3 в необдуманном режиме. Мы уже поддержали развертывание этой модели с использованием тензорной параллели в сленге для повышения производительности. Соответствующий PR был объединен в SGLang V0.5.2, поэтому вы можете развернуть эту модель, используя SGLang версии 0.5.2 или более поздней версии с тензорным параллельным подходом.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: tencent
Теги: deepseek_v3, quantized, TensorRT-Model-Optimizer, int4, fp8, conversational, custom_code, text-generation-inference
Лайков: 16 | Загрузок: 620
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
