☕ Если эти модели вам полезны, рассмотрите возможность поддержки моей работы — это позволит вычислить больше и больше аблитераций. 💬 Discord: discord.gg/rhUZY5GEZr · ₿ Биткойн: bc1qsvfduzj9fjs9fugpc52yver3f2g8fp7xjxecdv 113 осколков защитных тензоров NVFP4 + config.json, model.safetensors.index.json, tokenizer,chattemplate.jinja, поколениеconfig.json. Всего на диске: ~329 ГБ. Подходит для одного узла 4× B200/B300 (или 8× H100). На Blackwell с большой видеопамятью он также работает с параметром —tensor-parallel-size 2. Требуется vLLM ≥ 0,22. — Выборка: температура = 1,0, topp = 0,95 (значения в Generationconfig.json). Для длинных поколений рекомендуется мягкий штраф за повторение (~ 1,1). — Режим мышления: установите Enablethinking=True вchattemplatekwargs; рассуждения текут внутри… прежде, чем ответить. Не возвращайте рассуждения предыдущего хода обратно в многоходовую историю. Вес NVFP4 составляет ~329 ГБ. Одноузловые 4 × B200 / 4 × B300 (или 8 × H100) для полного контекста; рекомендуется экспертно-параллельный подход. Небольшие развертывания работают с меньшим контекстом с использованием тензорно-параллельного размера 2 на картах Blackwell с большим объемом видеопамяти. — Лицензия: OpenMDW-1.1 (наследуется от базовой модели) — Базовая модель: nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 — Формат: NVFP4…
Модальности:
Генерация текста
Области применения:
Логика и рассуждение Диалог / чат
Задача: Генерация текста
Автор: OpenYourMind
Теги: nemotron_h, nemotron, nemotron-3, nemotron-h, hybrid, mamba, mixture-of-experts, moe
Лайков: 5 | Загрузок: 570
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
