Hellohal2064/vllm-dgx-spark-gb10

Ключевые слова: vLLM DGX Spark, NVIDIA GB10, Blackwell GPU, SM121, ARM64 LLM, CUDA 13.1, запуск докера вывода Qwen3 —rm —gpus all -v /path/to/models:/models -p 8000:8000 -e MODELPATH=/models/your-model -e MAXMODELLEN=131072 -e GPUMEMORY_UTIL=0.90 hellohal2064/vllm-dgx-spark-gb10:latest wget https://huggingface.co/Hellohal2064/vllm-dgx-spark-gb10/resolve/main/docker/vllm-gb10-latest.tar.gz docker run —rm —gpus all -v /path/to/models:/models -p 8000:8000 -e MODELPATH=/models/your-model -e MAXMODELLEN=131072 -e GPUMEMORY_UTIL=0.90 vllm-gb10: последний клон git https://huggingface.co/Hellohal2064/vllm-dgx-spark-gb10 cd vllm-dgx-spark-gb10 docker build -t vllm-gb10:latest . Переменная среды MAXMODELLEN управляет максимальным размером контекстного окна. Единая память DGX Spark объемом 119 ГБ позволяет создавать очень большие контекстные окна: docker run —rm —gpus all -v /data/models:/models -p 8000:8000 -e MODELPATH=/models/Qwen3-Next-80B-A3B-FP8 -e MAXMODELLEN=262144 -e GPUMEMORY_UTIL=0.95 hellohal2064/vllm-dgx-spark-gb10:latest Компромиссы: — Больший контекст = больше памяти графического процессора для кэша KV — Больший контекст = возможно меньшее количество одновременных запросов — При 119 ГБ на DGX Spark…

Модальности:
Генерация текста

Задача: Генерация текста
Автор: Hellohal2064
Теги: vllm, nvidia, dgx-spark, dgx, blackwell, gb10, sm121, arm64
Лайков: 6  |  Загрузок: 0

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.