Argon-0.5B
Argon-0.5B 一个自研的基线模型，复刻 DeepSeek-V4 模型训练典型优化器，并加入 Engram 模块。 本仓库计划上传模型权重、切分后的训练数据、训练代码、tokenizer 资产和完整配置，使 Argon-0.5B 成为一个可审计、可复现、可继续训练的研究型预训练样例。 这个项目的初衷是复刻 DeepSeek 技术栈中的关键训练流程，并尝试在 500M 参数规模上实现一个完整的预训练闭环。 — 复刻 、数据...
Argon-0.5B 一个自研的基线模型，复刻 DeepSeek-V4 模型训练典型优化器，并加入 Engram 模块。 本仓库计划上传模型权重、切分后的训练数据、训练代码、tokenizer 资产和完整配置，使 Argon-0.5B 成为一个可审计、可复现、可继续训练的研究型预训练样例。 这个项目的初衷是复刻 DeepSeek 技术栈中的关键训练流程，并尝试在 500M 参数规模上实现一个完整的预训练闭环。 — 复刻 、数据...