Rain-v2 — 1 выпуск для RTX 4090. — Мощность: ≈100M — Мощность: 32 层解码器, 隐藏维 512, 8 头 GQA (4 个 KV头），RoPE，RMSNorm，SwiGLU，输入/输出权重共享 — 词表:自训 BPE，16,384词，面向英文/代码/数学混合语料 — 上下文长度:1024 — 学习率调度：1% разогрева + косинусный затух — Время работы: ≈6,64×10^8 токенов, время ~40 минут @ RTX 4090 — FineWeb-Edu (高质量英文教育语料)60% — Stack-Edu（Python教学代码/问答子集）30% — FineMath-4+（高质量数学/逻辑）10%
Модальности:
Генерация текста
Задача: Генерация текста
Автор: raincandy-u
Теги: qwen3, causal-lm, 100m-parameters, single-gpu-training, flashattention2, gqa, en, model-index
Лайков: 5 | Загрузок: 9
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
