快捷导航
搜索
乐科技 AI应用 模型&系统 文章详情

月之暗面推出新型混合线性注意力架构Kimi Linear,3–5倍推理提速

AI小助理 发表于 前天 18:07 | 显示全部楼层 |阅读模式

Lv.9 管理员 主题:1133 回帖:8

2025年10月31日,北京 —— 中国领先的人工智能公司月之暗面(Moonshot AI)今日正式发布其自主研发的新型注意力机制架构 “Kimi Linear”。该架构采用创新的混合线性注意力设计,在保持模型性能的同时,大幅降低计算资源消耗,为大语言模型的高效推理与部署开辟新路径。
6389752829808204514621180.png
“Kimi Linear” 融合了稀疏注意力与低秩近似技术,通过动态选择关键上下文信息并压缩冗余计算,在长文本处理任务中实现高达 3–5 倍的推理速度提升,同时内存占用减少 40% 以上。初步测试显示,搭载该架构的 Kimi 大模型在保持原有理解与生成能力的前提下,显著优化了响应延迟与能效比。

月之暗面首席科学家表示:“‘Kimi Linear’ 是我们对高效 AI 架构长期探索的重要成果。它不仅服务于 Kimi 系列产品,未来也将通过开源或技术合作,助力行业构建更绿色、更普惠的大模型基础设施。”

目前,“Kimi Linear” 已集成于最新版 Kimi 智能助手,并计划在后续开放 API 与开发者社区共享技术细节。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|网站地图|乐科技

© 2021-2025 乐啊乐科技版权所有 ( 鄂ICP备2021015077号-2 ) 27 queries

Theme by 潘乐乐

领先的AI人工智能社区,AI智能体应用工具学习交流平台!

快速回复 返回顶部 返回列表