|
ScaleOT框架在AAAI 2025上的亮相，标志着大模型隐私保护领域的一次重要突破。这一框架由浙江大学、蚂蚁数科、宁波大学和华东理工大学的联合研究团队提出，旨在解决大模型在跨域微调过程中数据隐私和模型所有权保护的问题。
ScaleOT框架的核心特点 跨域微调与隐私保护： ScaleOT框架通过构建有损压缩仿真器，使数据所有者可以在不直接接触模型权重的情况下进行微调，从而有效保护数据隐私。这种方法不仅提高了模型的适应性和性能，还减少了微调过程中资源的浪费。 动态层替换与选择性秩压缩： ScaleOT引入了“动态层替换”（Dynamic Layer Replace）算法，通过强化学习确定每一层在模型中的重要程度，并选择轻量级协调器来替代不重要的层。这种方法不仅降低了模型复杂度，还提高了模型的灵活性和性能。此外，选择性秩压缩（Selective Rank Compression）进一步提升了模型的隐私保护能力，通过减少秩来降低模型复杂度，同时保持性能。 离场调优与隐私-效用平衡： ScaleOT是一种新型的隐私-效用可扩展的离场调优框架，旨在平衡大型语言模型（LLMs）的隐私保护与效用。通过引入层间损失压缩算法（Dynamic Layer Replace和Selective Rank Compression），ScaleOT有效解决了现有离场调优方法中存在的适应性退化、高计算成本和有限保护强度等问题。 实验验证与应用前景： ScaleOT在多个数据集和模型上的实验结果证明了其有效性。研究团队通过实验验证了ScaleOT在调整压缩模型大小和秩压缩比例时均优于现有方法，展示了其灵活性与可扩展性。此外，ScaleOT还为大模型的隐私保护提供了新的思路和解决方案，有助于推动人工智能技术的广泛应用。 研究团队与合作背景 ScaleOT的研究团队由浙江大学、蚂蚁数科、宁波大学和华东理工大学的学者组成，包括朱建科教授和王维老师等。蚂蚁数科的摩斯机器学习科技团队成员也参与了该研究。这一跨学科的合作不仅体现了学术界与工业界的紧密合作，也为大模型隐私保护技术的发展注入了新的活力。 |
