> [!TIP] > Поддержите эту работу → · X · GitHub · Документ REAP · Cerebras REAP Этот репозиторий представляет собой черновой вариант контрольной точки, полученной из REAP, на основе nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-BF16. — Документ: arXiv:2510.13999 — Код и источник эксперимента: 0xSero/reap-expert-swap — Поддержка и финансирование исследований: donate.sybilsolutions.ai — Базовая модель исходного кода: nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-BF16 — Отношения: экспертная контрольная точка, полученная из REAP, а не зеркало оригинала базовый выпуск — статус черновика: черновой исследовательский выпуск — в этом репозитории публикуются полученные веса контрольных точек и файлы времени выполнения, полученные в результате нашего рабочего процесса сокращения REAP. — Экспертов на слой MoE в исходной базе: 512 — Экспертов, оставленных на слой в этом варианте: 256 — Экспертов сокращено на слой в этом варианте: 256 — Ожидаемое количество осколков Safetensor в этом черновом репозитории: 3 — Рабочий процесс объединенных наблюдений источников: nemotronsupermergedlong50short15120v2` Сигнал сокращения поступает из послойных наблюдений REAP, собранных в смешанном калибровочном корпусе доминирует личная история сеансов ИИ плюс ограниченный публичный срез дополнений. — nemotronsuperlong5016kv3 — первые самые длинные персональные траектории — 50 траекторий — ограничено 16384 жетонами…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: 0xSero
Теги: nemotron_h, custom_code, draft, latent-moe, nemotron, pruned, reap, sparse-moe
Лайков: 7 | Загрузок: 87
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
