DeepSeek-V4-Flash-NVFP4-FP8
Эта модель была получена с использованием следующей ветки с LLM Compressor: https://github.com/vllm-project/llm-compressor/pull/2647 Эта модель была развернута с использованием...
Метка: deepseek_v4
DeepSeek-V4-Flash-W4A16-AutoRound
Эта модель представляет собой модель int4 с group_size 128 для deepseek-ai/DeepSeek-V4-Flash, созданную с помощью Intel/автоматического округления в режиме...