Meta发布世界代码模型CWM:让AI像程序员一样“思考”与“执行”
近日,Meta正式开源其全新320亿参数大模型——Code World Model(CWM),这是业界首个专为代码生成与推理设计的“世界模型”。CWM不仅会写代码,还能模拟代码执行过程、预测程序状态变化,并自我检测与修复错误,标志着AI编程从“模仿”迈向“理解”。
CWM基于8T tokens预训练,并融合5T tokens的Python执行轨迹与智能体交互数据,支持最长131,000 tokens上下文。在SWE-bench Verified、LiveCodeBench和Math-500等权威基准中表现优异,尤其在代码修复与数学推理任务上接近GPT-4水平。
Meta同步开放了CWM在中期训练、监督微调(SFT)及强化学习(RL)各阶段的权重检查点,鼓励全球研究者探索“代码世界建模”新范式。Meta首席AI科学家Yann LeCun评价称:“CWM通过想象代码执行效果来生成代码,是迈向真正智能编程代理的关键一步。”
该模型已在Hugging Face和Meta官网提供下载,有望推动下一代AI编程助手与自主软件智能体的发展。