GraphTeam 利用多智能体协作进行图分析,准确率提升 25.85%,显著优于现有方法。
原文标题:GraphTeam: 基于多智能体协作的图分析大模型,平均准确率提升了 25.85%!!
原文作者:数据派THU
冷月清谈:
GraphTeam 的核心是三个功能模块:输入输出规范化模块、外部知识检索模块和问题解决模块。问题智能体和答案智能体负责规范化输入输出;检索智能体负责从知识库中检索相关信息;编码智能体负责生成并运行 Python 代码获取答案,推理智能体则在编码失败时进行逻辑推理。
实验结果表明,GraphTeam 在六个图分析基准上平均准确率提升了 25.85%,显著优于现有方法,尤其是在处理复杂任务和特殊格式需求时表现出色。消融实验也证明了编码智能体和知识检索模块的重要性。
怜星夜思:
2、GraphTeam 中的知识检索模块是如何工作的?它使用什么样的知识库?
3、GraphTeam 的未来发展方向有哪些?如何进一步提升其性能和效率?
原文内容
来源:深度图学习与大模型LLM本文约1500字,建议阅读5分钟
本文介绍了基于多智能体协作的图分析大模型。
1. 引言
2. 基本信息
-
标题:GraphTeam: Facilitating Large Language Model-based Graph Analysis via Multi-Agent Collaboration
-
作者及单位:
-
Xin Li*, Qizhi Chu*, Yubin Chen*, Yang Liu, Yaoqi Liu, Zekai Yu (Beijing University of Posts and Telecommunications)
-
Weize Chen, Chen Qian (Tsinghua University)
-
Yubin Chen (The Chinese University of Hong Kong)
-
论文链接:https://arxiv.org/abs/2410.18032
-
代码链接:https://github.com/BUPT-GAMMA/GraphTeam
3. 研究背景
-
结合 GNN 的方法:
-
这些方法通常针对特定任务(如节点分类)进行优化,通用性较差。
-
例如,GraphGPT 和 GraphTranslator 通过 GNN 编码节点,再将其嵌入大模型的表示空间,但这些方法难以推广到多样化任务。
-
仅使用大模型的方式:
-
这类方法将图结构展平为文本描述,完全依赖大模型的推理能力。然而,大模型在处理复杂图分析任务时表现不佳。
-
克服传统方法的不足,提供一种通用、高效的图分析解决方案。
-
在多个复杂基准任务上验证其有效性。
4. 方法
-
输入输出规范化模块:
-
问题智能体(Question Agent):提取问题的关键要素(如图类型、输出格式等),并将问题结构化为便于理解的形式。这一过程确保后续模块能够准确获取问题信息。
-
答案智能体(Answer Agent):对生成的结果进行格式化处理,确保其符合问题要求,并通过自检机制保证结果的正确性。
-
外部知识检索模块:
-
检索智能体(Search Agent):从构建的知识库(包含 Python 库文档与历史问题解决经验)中提取与当前问题相关的条目。知识检索为问题解决提供了必要的外部支持。
-
问题解决模块:
-
编码智能体(Coding Agent):根据问题和检索到的知识生成 Python 代码,并尝试运行生成的代码以获取答案。若代码无法正常运行,则使用重试机制修正错误代码。
-
推理智能体(Reasoning Agent):当编码智能体多次尝试后仍无法生成正确结果时,推理智能体会直接基于输入数据进行逻辑推理,从而得出答案。
5. 实验与发现
-
数据集:
-
六个基准,包括 Talk like a Graph、GraphWiz 等。
-
评估指标:
-
准确率、代码可执行性等。
-
基线方法:
-
包括 GUNDAM、GraphInstruct 等现有最优方法。
-
整体性能:
-
GraphTeam 在所有基准上好于 SOTA,平均提升 25.85%。
-
对于最困难的问题子集,仍保持显著性能优势。
-
消融实验:
-
去除编码智能体后性能显著下降(平均 42.24%)。
-
知识检索模块中的经验库贡献最大,提升了 24.63%。
-
任务类别与输出格式分析:
-
GraphTeam 在基本任务和列表输出格式上表现优异,但在复杂 GNN 任务和高级输出格式上还有改进空间。