Meta发布首款代码世界模型（CWM），开启代码生成新范式

Meta近日正式发布并开源其首款代码世界模型（Code World Model，简称CWM），首次将“世界模型”概念引入代码生成任务，以提升生成代码的质量和可执行性。CWM 采用仅解码器结构，参数规模约 32 B，支持 131 k token 的上下文长度，属于开放权重模型的第一梯队。

核心创新在于模型在生成代码前会“在脑海中”模拟代码的执行效果，预测指令可能产生的结果，从而在规划阶段就优化代码输出。这一思路模拟了人类程序员先行思考、再动手编码的过程，突破了传统语言模型逐词盲写的局限。

CWM 通过大规模编程数据以及专门的 Python 与 Bash 环境建模数据进行训练，能够模拟 Python 程序在 Bash 环境中的执行并与 Agent 交互。模型提供三个不同用途的 checkpoint，供研究者和开发者灵活使用。

在多项权威基准测试中，CWM 表现突出：SWE‑bench Verified 达到 65.8%，LiveCodeBench 达 68.6%，Math‑500 更是高达 96.6%，显著超越同类基线模型。Meta 将 CWM 定位为概念验证（proof‑of‑concept），并表示未来将在更大规模模型和零样本规划、具身思维等方向继续深化研究。