本项目面向课堂教学，目标是让初学者用一台普通 CPU 电脑，在 45 分钟内从零跑通一个小参数的中文 GPT：看清核心流程、跑通训练、得到“可用的中文回答”，并支持简单的推理演示。 — 了解 GPT 的核心原理：分词 → 批处理 → 前向 → 损失 → 反向 → 优化 → 保存 → 推理（完整链路） — 掌握高效小模型技术：RMSNorm、RoPE、权重共享、短序列、小词表、量化 — 学会仅用 CPU 训练：控制模型/数据规模、梯度累积、学习率预热与退火、禁用无关耗时特性 — 学会可用答案保障：目标对齐（忽略前缀）、推理首步约束与后处理、停止词、提示词规范化 — src/model.py：GPT 核心（Embedding/自注意力/前馈/RMSNorm/RoPE/权重共享） — src/data.py：分词器加载、指令和 LM 数据处理、批处理与目标构造 — src/train.py：CPU 训练主循环、评估、保存与动态量化、耗时统计 — src/infer.py：推理 CLI（温度、top-k、top-p、重复惩罚、停止词、输出清理） — sr
Модальности:
Генерация текста
Задача: Генерация текста
Автор: GPTcn
Теги: gpt, cpu, chinese, teaching, small-model, zh
Лайков: 3 | Загрузок: 3
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
