RND1 — это экспериментальная модель диффузного языка с 30 B параметров и 3 B активных параметров на токен (разреженная смесь экспертов). Эта модель была преобразована из предварительно обученной авторегрессионной базы, чтобы обеспечить генерацию текста на основе диффузии. RND1-Base-0910 имеет следующие функции: — Тип: диффузная языковая модель — Количество параметров: всего 30,5 млрд, 3,3 млрд активируется на каждый токен — Архитектура: разреженная смесь экспертов — Обучение: преобразовано из предварительно обученной авторегрессионной базы (Qwen3-30BA3B) — Код: https://github.com/RadicalNumerics/RND1 — Отчет: https://www.radicalnumerics.ai/assets/rnd1_report.pdf — Блог: https://www.radicalnumerics.ai/blog/rnd1 > [!ПРЕДУПРЕЖДЕНИЕ] > Для более быстрого создания настоятельно рекомендуется выбрать серверную часть MoE без Huggingface. Однако обратите внимание, что серверные части, отличные от HF, в настоящее время поддерживают только один графический процессор, поэтому вам необходимо установить, например. экспортируйте CUDAVISIBLEDEVICES=0 перед запуском сценария. Если вы используете flashinfer-python, JIT-компиляция при первом запуске кода может занять некоторое время, если не установлен flashinfer-jit-cache. — maxnewtokens: количество генерируемых токенов (по умолчанию: 256) — numdiffusionsteps: шаги диффузионного шумоподавления (по умолчанию: 256) — температура: температура выборки,…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: radicalnumerics
Теги: rnd1, conversational, custom_code, endpoints_compatible
Лайков: 62 | Загрузок: 230
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
