Адаптер LoRA, который настраивает google/gemma-4-E2B-it-qat-mobile-transformers на полный корпус документов кодовой базы Strands Agents / Strands Robots, превращая мобильный класс Gemma 4 E2B в эксперта по доменам Strands-Agents. Родственные модели: cagataydev/strands-qwen3-vl-2b (тот же корпус, остов Qwen3-VL-2B). Часть исследовательского проекта по модели самообучения (github.com/cagataycali/slm). — Corpus: 2,288 documents (~5M tokens) — strands-agents SDK source, strands-tools, strands-robots, docs, examples, and Golden-200 Q&A pairs — Method: QAT checkpoint dequantized to bf16, then LoRA on all language-model attention + MLP projections (q,k,v,o,gate,up,downproj), vision tower untouched — Config: r=32, alpha=64, dropout=0.05, 600 steps, bs 2 × accum 4, lr 1e-4 cosine, block 1024, AdamW, gradient checkpointing — Trainable: 48.3M params (adapter only; base frozen) — Ha Training was done on > the dequantized bf16 weights; for training-compatible loading, dequantize QAT wrappers > or load in bf16 as above. — Domain expert for the Strands Agents ecosystem (SDK APIs, tools, patterns, robots). -…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: cagataydev
Теги: peft, lora, strands-agents, code, gemma-4, domain-adaptation, conversational, en
Лайков: 3 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
