Modèle fusionné en 16 bits (base + LoRA), utilisable sans PEFT. Fine-tuning supervisé (SFT) avec Unsloth pour écrire des histoires courtes pour enfants de 3 à 5 ans à partir d’une intrigue, de 3 mots imposés et de traits narratifs. La réponse se termine par « The End. ». Conclusion (test) : Système retenu sur validation : SFT LoRA 16 bits · greedy. Sur le test (n = 48 requêtes jamais vues), S = 0.917 contre 0.807 pour la baseline : écart +0.110 (IC 95 % [+0.082 ; +0.141]), donc meilleur que la baseline. Données : skeskinen/TinyStories-GPT4 (TinyStories, Eldan & Li 2023, histoires écrites par GPT-4). Séparation par groupe (triplet de mots imposés), contrôles anti-fuite sur les groupes, histoires, résumés et prompts : train 400 · validation 80 (dont 32 requêtes de génération) · test 120 (dont 48 requêtes de génération). Seed : 3407 · profil light · GPU Tesla T4. Entraînement : LoRA r = 16, alpha = 16, modules qproj, kproj, vproj, oproj, inprojqkv, inprojz, outproj, gateproj, upproj, downproj · lr 0.0002 (cosine) · batch effectif 8 · 2 à 3 époques, checkpoint toutes les demi-époques, EarlyStopping (patience 2, jamais avant 2 époques), loss uniquement sur l’histoire (masque). Ce…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Willcreamson
Теги: qwen3_5, image-text-to-text, unsloth, sft, lora, children-stories, qwen3.5, conversational
Лайков: 3 | Загрузок: 65
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.