202507论文研读-Online Relational Inference for Evolving Multi-Agent Interacting Environments

作者:Beomseok Kang, Priyabrata Saha, Sudarshan Sharma, Biswadeep Chakraborty, Saibal Mukhopadhyay

来源:NeurIPS 2024

单位:Georgia Institute of Technology

发表日期:2024.11

背景

很多场景下都有多个智能体同时活动并相互影响,智能体之间存在着复杂的交互关系,这些关系会随着时间不断变化。

然而传统方法通常假设交互关系静态不变,难以捕捉智能体行为背后由其他体引发的时序影响,从而限制了多智能体行为识别与预测的准确性。

论文贡献

1、提出了一个新模型ORI(Online Relational Inference),结合了图神经网络结构的动态推理框架,捕捉智能体之间随时间演变的交互关系。

ORI 是首个面向演化多智能体系统、无需模型结构假设的在线关系推理框架。

该方法通过在线反向传播方式,仅基于轨迹状态数据自动更新图结构(邻接矩阵),而不依赖预定义交互模型或先验知识。

通过实验证明,ORI 识别了各种演化多智能体交互系统中未知的交互图,优于现有的NRI 模型

2、提出了一种自适应学习率技术 AdaRelation,以预测表现控制学习率变化幅度,保持图结构稳定性

3、提出一种对轨迹进行轴对称反转的数据增强方法Trajectory Mirror ,用于提升模型在面对路径旋转或镜像下的结构推理鲁棒性。

实验过程

数据集:所有实验数据集都来自于合成物理环境模拟,环境由NRI代码库生成,此外,模型还在 CMU MoCap 真实动作数据集上进行评估,验证其在现实复杂交互模式中的适应性。

数据集名称含义
Spring模拟智能体通过弹簧连接的物理交互
Charged智能体带电,相互吸引/排斥
Kuramoto多振荡器同步建模
Swarm群体运动,模仿生物或机器人集群

ORI模块结构图:

状态输入x_t →状态编码器→图结构预测:生成邻接矩阵 A~t→图神经网络→解码器→状态输出x_t+1

自适应学习率技术 AdaRelation:

实验结果

自适应学习率机制验证实验

ORI稳定性与泛化能力实验

消融实验

移除邻接矩阵更新机制

移除自适应学习率更新机制

同时移除邻接矩阵更新与学习率机制

总结

1、本文提出了动态关系建模框架ORI,图结构(邻接矩阵)随时间演化,能更实地反应环境中不断变化的智能体关系。

2、提出自适应学习率机制AdaRelation,在无监督训练中,系统根据邻接矩阵的变化自动调整学习率,提高模型对图结构变化的响应速度,减少误学习

3、采用无监督学习,仅依赖状态数据推理智能体关系网络,适用于标签稀缺或成本高的环境。

4、实验包括合成数据(Spring/Charged)和真实数据(MoCap),并验证了模型在结构突变、不同复杂度下的适应性和稳定性。

5、ORI 作为可集成模块,可嵌入其他图神经网络架构中,文中与 NRI、MPM 等现有模型组合使用,具有通用性和扩展性。

6、ORI 的结构推理方法仅依赖智能体的状态信息(如速度与位置),无需显式通信或行为标签,适用于隐蔽性任务或敌对环境中的交互建模。