Тонко настроенная модель Qwen2.5-Coder-32B-Instruct, специализированная для просмотра кода. Обучен 48 460 комментариям к написанному человеком коду из лучших репозиториев GitHub. Точно настроенная модель генерирует комментарии обзора с в 4 раза большим лексическим перекрытием с реальными человеческими отзывами, почти в 3 раза более длинными соответствующими подпоследовательностями и правильно классифицирует свой собственный тип комментария (предложение, проблема, рефакторинг и т. д.) в 64% случаев. — Base model: Qwen/Qwen2.5-Coder-32B-Instruct — Method: QLoRA (4-bit) SFT → DPO — Training data: ronantakizawa/github-codereview (119K examples, 48K after filtering) — Hardware: 1x NVIDIA H100 SXM 80GB — Training time: ~6 hours SFT + ~1.7 hours DPO — Framework: Unsloth + TRL 0.24.0 + Transformers 5.2.0 The training data comes from ronantakizawa/github-codereview, containing 119K real inline code review triplets (code, review comment, revised code) extracted from merged pull r Filtering: Quality score >= 0.5, minimum 50 char comments, deduplicated by (repo, PR, line), capped at 1000 examples per repo. 25 repos held out entirely for OOD evaluation. Python def authenticate(username, password): user = db.query(f»SELECT FROM users WHERE…
Модальности:
Генерация текста
Области применения:
Генерация кода Ревью кода Диалог / чат
Задача: Генерация текста
Автор: ronantakizawa
Теги: peft, code-review, qwen2.5-coder, lora, qlora, fine-tuned, code, sft
Лайков: 3 | Загрузок: 19
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
