HRM-Text-0.6B — это плотная базовая контрольная точка HRM-Text размера L, обученная с помощью конвейера предварительной подготовки HRM. Этот выпуск представляет собой предварительно обученную контрольную точку эпохи 4, экспортированную из собственной контрольной точки FSDP2 в один файл bf16 model.safetensors. Модель имеет 694,7 млн параметров с высокой плотностью, поэтому каждый токен активирует полный бюджет параметров в 0,6 млрд. Это плотная базовая линия активных вычислений для эксперимента L-MoE 64×8 с активным сопоставлением в Xiaoye08/HRM-MoE. Это базовая контрольная точка перед выравниванием. Это не чат или помощник, выполняющий инструкции. Вариант MoE соответствует активной ширине FFN этого плотного контрольно-пропускного пункта L, одновременно увеличивая общий экспертный потенциал. В приведенном ниже сравнении используются те же выборочные данные предварительного обучения, та же установка с 32 графическими процессорами и 4 эпохи предварительного обучения. Значения представляют собой проценты, если не указано иное. Эта плотная контрольная точка является основной базовой линией 0,6B. L-MoE с активным соответствием улучшает показатели Standard и MMLU-Pro, оставляя при этом большинство голосов AIME25 практически неизменными. Эта контрольная точка включает удаленный код для архитектуры hrmtext, поэтому его можно загрузить в версии Transformers, которые еще не поддерживают встроенную поддержку HRM-Text. HRM-Text использует токены префикса условия. Подсказки должны отображаться как:
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Xiaoye08
Теги: hrm_text, hrm, hrm-text, hierarchical-reasoning, dense, prefix-lm, pre-alignment, non-chat
Лайков: 5 | Загрузок: 218
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
