美团开源 LongCat-2.0:1.6T MoE 模型落地五万卡 AI ASIC 集群
美团 LongCat 团队正式开源万亿 MoE 大模型 LongCat-2.0,同步开放 GitHub、HuggingFace、在线演示与 API 调用通道,核心亮点不止超大参数,更验证了大规模 AI ASIC 集群完整训推可行性。
一、模型核心参数
LongCat-2.0 采用 MoE 稀疏架构,总参数 1.6 万亿,单 Token 仅激活约 48B 参数;预训练数据超 35T tokens,原生支持 1M 超长上下文,主打代码开发、多步骤 Agent 复杂任务,兼容 Claude Code、OpenClaw 等主流工具链。
架构上搭载 LSA 稀疏注意力、5-gram 嵌入与 6D 分布式并行方案,大幅降低长文本注意力、KV 缓存算力开销,专门适配代码仓库、长文档、多轮工具调用等高频复杂场景。
二、最大突破:五万颗 AI ASIC 完成全链路训练
本次训练与线上推理全部基于自研 AI ASIC 超级集群,动用超 5 万颗算力芯片,消耗数百万加速器小时。整套分布式系统实现稳定可控,全程无训练回滚、无不可逆损失尖峰,攻克万卡级集群通信、故障恢复、数值精度、显存分片等工程难题。
过去大模型训练普遍依赖英伟达 GPU 生态,美团此次落地证明非 GPU 算力路线可支撑前沿万亿参数模型完整研发,为行业提供第二条算力选型路径,但目前暂无法直接替代英伟达成熟生态,成本、能耗、第三方复现数据仍待补充验证。
三、行业影响与落地建议
技术侧:基础模型团队需同步评估 GPU 与 ASIC 两套算力方案,不再单一绑定海外芯片;
企业落地:优先在代码 Agent、知识库长文本等非核心业务灰度试用,待第三方基准、定价、稳定性数据完善后,再考虑核心业务迁移;
社区价值:全栈开源模型权重、分布式框架、推理引擎,开发者可直接测试百万上下文长任务能力,快速接入代码自动化、智能体工作流场景。
LongCat-2.0 的 1.6 万亿参数仅是表象,真正具备行业变革意义的是:美团完整跑通五万卡 AI ASIC 大规模训推工程链路。大模型竞争已从单纯参数比拼,延伸至自主算力集群、软硬协同全栈基础设施的综合比拼。
|
|
|
|
|
|
|