|
随着人工智能技术的进步，多智能体系统在处理复杂任务方面的能力不断增强。这些系统由多个具有特定功能的智能体组成，它们通过协作来发挥各自的长处，共同实现目标。这种协作方式在复杂推理、编程、药物发现和安全保证等领域展现出了卓越的性能，因为智能体之间的结构化互动不仅提升了解决问题的效率，还能相互校正，优化各自的输出。研究发现，在需要严格推理或事实验证的任务中，多智能体系统的协作通常优于单个智能体的表现。 尽管如此，优化多智能体系统仍面临诸多挑战，尤其是如何为每个智能体提供合适的训练信号。虽然可以获取任务级别的奖励反馈，但如何在智能体之间公平分配信用却是一个难题。由于语言模型的推理过程复杂且缺乏结构，将成功或失败归因于每个智能体的具体决策和推理步骤变得更加困难，这与强化学习中的多智能体信用分配问题相似。 为了解决这一问题，斯坦福大学的研究人员开发了SIRIUS框架，这是一个自我改进的多智能体优化框架，采用推理驱动的学习方法。SIRIUS通过保留成功的推理轨迹来构建经验库，提供高质量的训练集，并对不成功的尝试进行增强，以丰富数据集。研究结果表明，SIRIUS在推理和生物医学问答方面的性能提高了2.86%到21.88%，并在竞争环境中的智能体谈判能力上也有所改善。智能体通过学习成功的互动，迭代改进合作策略，实现了无需直接监督的自我优化。 SIRIUS框架还包括一个迭代微调的过程，智能体在一个自然语言环境中互动，生成响应、评估响应、改进低质量输出，并通过监督学习更新策略。通过持续的响应优化，SIRIUS提升了语言基础多智能体系统中的推理和决策能力，随着时间的推移，实现了更加有效和连贯的互动。 在实验中，SIRIUS与多种基线模型进行了比较，包括单智能体、STaR、CoMM和TextGrad。结果显示，SIRIUS在问题解决、任务分解和智能体协作方面均表现优异。通过消融研究发现，专门的智能体角色、多智能体优化以及经验增强是提升性能的关键因素。SIRIUS在演员-评论家和竞争环境中也表现出色，在PubMedQA和资源交换游戏等任务中均优于其他方法。 综上所述，SIRIUS是一个旨在通过学习成功互动和改进失败案例来优化多智能体系统的框架。它构建了一个包含高质量推理步骤的经验库，作为系统优化的训练集，并通过增强不成功的轨迹来丰富库的内容。这一框架显著提高了推理、生物医学问答和智能体谈判能力，推动了多智能体协作的持续自我改进。 |
