> Примечание. Эта модель оптимизирована для графических процессоров Blackwell (SM121). Для H100/A100 рассмотрите версию BF16 с нашим многоарочным контейнером. > Важно: переменные пропускной способности VLLMUSEFLASHINFERMOEFP4=1 и VLLMFLASHINFERMOEBACKEND= необходимы** для негейтируемых активаций (ReLU²) в моделях NVFP4 MoE. ELK-AI специализируется на оптимизации корпоративного искусственного интеллекта, предоставляя готовые к производству решения LLM с самой современной производительностью. — Веб-сайт: https://elkai.ai — Автор: Мутаз Аль Авамле — Электронная почта: mutaz@elkai.ai — Docker Hub: mutazai | elkaiоптимизация
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: cybermotaz
Теги: nemotron_h, nvidia, nemotron, nvfp4, quantized, blackwell, sm121, dgx-spark
Лайков: 13 | Загрузок: 2,017
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
