Этот адаптер LoRA добавляет в Qwen/Qwen3-4B-Thinking-2507 возможности осведомленности о выполнении. Вдохновленный исследованием Meta CWM (Code World Model), он позволяет модели прогнозировать и понимать выполнение программы шаг за шагом. — Пошаговое прогнозирование выполнения: прогнозирует состояние переменных в каждой строке. — Модель динамического мира: понимает, как ведет себя код во время выполнения. — Трассировка выполнения: создает подробные трассировки выполнения с состояниями переменных. — Поддержка отладки: может идентифицировать и объяснять поведение выполнения. Оптимизация) с реальными трассировками выполнения — Ранг LoRA: 64 — LoRA Alpha: 128 — Образцы обучения: 298 — Оценочные образцы: 323 — Точность прогнозирования выполнения: 20,0% — Средняя точность состояния: 33,3% — Метод: GRPO (оптимизация групповой относительной политики) — Данные: самостоятельно сгенерированный код с реальными трассировками выполнения — Эпохи: 3 — Награда: постепенное начисление баллов (0,0–1,0) в зависимости от точности выполнения. Код Python (3–20 строк). Реальные трассировки выполнения с помощью sys.settrace(). Состояния переменных истинной истины. Набор данных: codelion/execution-world-model-dataset. Базовая модель:…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: codelion
Теги: peft, ellora, lora, code-execution, execution-tracing, world-model, cwm, grpo
Лайков: 6 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
