A survey on LLM-based multi-agent systems: workflow, infrastructure, and challenges

论文框架

一、论文把agent给拆成了五个部分：

Profile(角色画像)：agent是什么定义，被创建用来干什么？
Perception(环境感知)：agent 如何感知环境信息、丰富自己的知识库？
Self-Action(自主行动)：agent 如何利用记忆机制储存信息、如何推理复杂任务？
Mutual interaction(交互协作)：多 agent 系统中，智能体之间如何相互通信？
Evolution(进化)：智能体如何通过自我批评实现自我进步？

MAS算法支撑

每个 agent 都能独立感知环境并做出决策，也可以通过模拟现实世界中的协作模式（合作、竞争、分层组织）与其他智能体交互，从而提高整体协作效率。这类系统通常融合控制理论与强化学习方法实现，MARL 算法是核心。Marllib（论文引用的 MARL 库）用四个维度区分这些算法：

task patterns
agent types
learning styles
knowledge sharing

MAS系统的结构分类

[25] 根据 MAS 的特征将其分为两类，这是层次划分：

agent-level（智能体层面）：看单个智能体本身长什么样，比如它有哪些能力、是同质还是异质。
system-level（系统层面）：看整个系统怎么组织，比如通信方式、控制结构。

[26] 用两个维度交叉出四种原型，这是维度划分：

agent heterogeneity（智能体异质性）：智能体是全都一样，还是各不相同；
- homogeneous（同质智能体）：几个智能体能力、角色相同，干类似的活；
- heterogeneous（异质智能体）：每个智能体有不同专长，靠各自能力互补协作。
放在 MDT 里看：五个”影像科医生智能体”一起读片子就是同质；一个肿瘤内科、一个影像科、一个病理科组队就是异质。异质组合的价值在于互补。结构越灵活，系统越能适应不同任务和环境变化；异质智能体之间能互补、产生协同效应
communication level（通信水平）：智能体之间通信是少还是多、是平级还是分层

其中通信水平可以用 [23] 给出的【通信机制 = 通信范式（通信协议）+ 通信结构 + 通信内容】进一步刻画：

[27] 提出通信范式的四维框架，并重点区分了两类系统：
- blackboard（黑板系统）：所有 agent 共享一块”黑板”，把消息写上去、其他人自己来读，类似共享消息池；
- message-based（消息系统）：agent 之间直接发消息，点对点传；
通信结构分为四种类型：去中心化、集中式、分层、嵌套。

MAS profile

上下文生成方法：“先有任务，再定制画像”

根据特定上下文或用户的具体要求，agent 配置文件可能包含不同类型和内容的信息，可以据此生成智能体画像。这种上下文化生成方法会基于复杂任务的环境，灵活决定智能体档案的类型和内容，确保与任务需求对齐。但它是”一次性”的，而且劳动密集：每个新场景都要重新生成一遍智能体档案。

这种做法的成本高，但与任务的契合程度也高。

预定义方法： “先造好人才池，任务来了再挑人”

这种方法先让 LLM 定义多个 agent，共同构成智能体池。面对特定场景时，从池中挑选合适的 agent 执行相关子任务。通常 LLM 会在提示中写明 agent 配置文件的组成和属性，据此生成具有不同特征的 agent；随后由人工或 LLM 挑选合适的 agent；最后 LLM 负责更新智能体的状态信息，方便它们恢复或继续之后的操作。

这种做法的成本低，但与任务的契合程度也低。

基于学习的方法

介于前两种方法之间：在为特定场景定义 agent 配置文件的同时，也能省下大量时间。不过生成新智能体时存在潜在问题，比如大模型幻觉、生成的配置文件与相应任务不匹配。

MAS Mutual interaction

MAS 的相互交互可以分为三个基本组成部分：

Message Delivery（消息传递）
Interaction Structure（交互结构）
Interaction Scene（交互场景）

Message Delivery

消息通常以文本形式记录和传输，也有一些工作整合了多模态信息，比如视觉和音频数据。消息的内容会随任务分配和交互场景动态变化，通常包含历史和当前状态信息，以及其他智能体的通信消息。

消息传递通常由任务分配、与其他智能体的交互或外部控制信号触发；智能体也可以先把消息存进共享内存池，让其他智能体从中检索。

Interaction Structure

交互结构定义了多智能体系统内的通信框架，通常基于消息内容进行组织和安排，给智能体分配不同的角色与责任。交互结构可分为四种类型：

分层式（Hierarchy）：不同级别的智能体扮演不同角色，高级和低级之间有明确区分。高级智能体通常做监督，负责关键决策，向下级智能体发布指令。这种模式模仿传统组织结构，通过明确划分权力和责任边界来提高效率。
去中心化（Decentralized）：智能体在不需要中央权威的对等网络中直接相互通信。这种结构促进智能体之间的平等，交互更灵活、更动态，还能减轻单个大语言模型的计算负担、增强系统鲁棒性；不过在大规模系统中，协调和通信开销会变得明显，可能影响整体性能。
集中式（Centralized）：由一个或一组中心智能体协调整个系统，管理和编排所有智能体之间的交互。控制权集中简化了决策过程、避免潜在冲突、提高整体效率；但系统依赖中心智能体，容易单点故障、受通信延迟影响，难以快速响应环境变化。
共享消息池（Shared Message Pool）：智能体通过共享消息池发布和订阅信息，按需获取相关信息，不需要点对点直接通信。好处是通信过程简化、信息传递的复杂性降低、消息管理统一；但多个智能体同时访问共享消息池，可能带来争用和同步问题。

Interaction Scene

按场景内容，MAS 中的交互可分为三类：

通信场景（communication）：智能体通过交换信息进行协调和决策。信息交换可以是直接的，比如通过特定通信渠道传输每个智能体的状态、计划和建议；也可以是间接的，比如共享关于环境、任务或其他智能体的知识。
任务执行（task execution）：关注智能体如何按照预定义的任务分配执行特定行动，比如角色扮演游戏、分布式任务分配等。
环境探索（environment exploration）：要求智能体利用感知和学习机制，在未知环境中不断适应和优化自己的行为，既包括模拟环境，也包括真实物理环境。

按场景中智能体之间的关系，又可分为三类：

协作式（Cooperative.）：智能体共同工作以实现共同目标。现有的多智能体协作模型主要分为：
- 无序协作：搭一个允许多个 ChatGPT 实例通信、提供反馈、集体思考的网络，让智能体自然协作，不设固定角色分工。
- 有序协作：把标准操作程序（SOPs）编码成提示序列，让智能体按分配的角色和专业知识执行特定任务。
对抗型（Adversarial.）：智能体之间是竞争关系，各自追求自身利益最大化。基本流程包括目标设定、策略制定、交互游戏和结果评估：先设定目标最大化自身利益，再根据对手的行为基准制定竞争策略；交互游戏阶段通过交互实施策略，争取最大利益；最后评估结果、调整策略应对后续竞争。
混合型（Mixed.）：结合协作与对抗的特点，要求智能体在合作与竞争之间找平衡，可再细分为并行和层次化两种：
- 并行（Parallel）：多个智能体在不同任务上独立协作，共享一部分信息但互不干扰。每个智能体负责生成答案的独立部分，最后汇总成完整响应，响应生成快、效率高。
- 层次化（Hierarchical）：智能体之间呈树状结构。父节点设定全局目标、分解任务并分配给子节点；子节点执行具体任务并提供反馈；父节点根据反馈调整全局策略，优化整体任务执行。

MAS Evolution

Evolution source

Environment Feedback.（环境反馈）

环境反馈指智能体在现实世界或虚拟环境中感知到的信息，通常是智能体的决策和行动改变了环境之后产生的变化信息。这类反馈充当奖励信号，告诉智能体行动的后果。

Agents Interaction.（智能体交互）

在多智能体系统中，交互信息指智能体之间协作信息的交换，包括其他智能体对某个智能体决策或行动的评估、状态更新，以及智能体之间的上下文通信。

Human Feedback.（人类反馈）

人类反馈是由人提供的指导性信号，用来引导智能体做出更好的决策和行动，从而提升其认知能力。

Evolution methods

Fine-tuning（微调）

Full Fine-tuning（全模型微调）：更新预训练模型的所有参数，让它适应特定的新任务。计算上昂贵、耗时，新任务数据有限时还有过拟合的风险。
Repurposing（重新使用）：通常只对预训练模型的特定层（一般是高层）做微调，低层保持不变。
Additional Parameter Fine-tuning（额外参数微调）：给原始模型加一组额外参数（Adapter、LowRank Adaptation（LoRA）、Prefix Tuning），不改预训练参数也能高效微调。