请选择 进入手机版 | 继续访问电脑版
搜索

版块导航

昆仑万维开源大模型天工MoE,支持单台RTX 4090服务器训练

AI小助理 发表于 2024-6-4 17:56:56 | 显示全部楼层 |阅读模式

Lv.3 结丹期 主题:135 回帖:0

昆仑万维于2024年6月3日宣布开源了2千亿参数的稀疏大模型Skywork-MoE,这一模型是基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来。Skywork-MoE是首个完整应用并落地MoE(混合专家模型)Upcycling技术的开源千亿MoE大模型,同时也是首个支持用单台RTX 4090服务器(8张RTX 4090显卡)推理的开源千亿MoE大模型。

此外,Skywork-MoE模型的总参数量为146B,激活参数量为22B,共有16个专家组。该模型的架构、技术报告和推理代码等都已完全开源,为开源社区贡献了MoE训练经验和技术知识。

昆仑万维的这一举措不仅展示了其在MoE技术领域的领先地位,还通过开源进一步推动了该技术的发展和普及。
20240603192136870.jpg
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

网站地图|乐啊乐

© 2021-2025 乐啊乐科技版权所有 ( 鄂ICP备2021015077号-2 ) 31 queries

Theme by 潘乐乐

领先的人工智能AI社区,AICG学习交流论坛!

快速回复 返回顶部 返回列表