|
昆仑万维于2024年6月3日宣布开源了2千亿参数的稀疏大模型Skywork-MoE，这一模型是基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来。Skywork-MoE是首个完整应用并落地MoE（混合专家模型）Upcycling技术的开源千亿MoE大模型，同时也是首个支持用单台RTX 4090服务器（8张RTX 4090显卡）推理的开源千亿MoE大模型。
此外，Skywork-MoE模型的总参数量为146B，激活参数量为22B，共有16个专家组。该模型的架构、技术报告和推理代码等都已完全开源，为开源社区贡献了MoE训练经验和技术知识。 昆仑万维的这一举措不仅展示了其在MoE技术领域的领先地位，还通过开源进一步推动了该技术的发展和普及。 
|
