202410 论文研读-STG-Mamba: Spatial-Temporal Graph Learning via Selective State Space Model

来源:arXiv

作者:Lincan Li, Hanchen Wang, Wenjie Zhang

单位:澳大利亚悉尼新南威尔士大学

一、论文主要工作及贡献

(1)首次尝试将SSSMs应用于STG学习任务。

(2)针对STG网络,提出了一种新颖的时空选择状态空间模块(ST-S3M),该模块率先将STG网络与选择状态空间模型相结合,实现了依赖于输入的自适应时空图特征选择。ST-S3M内部的图选择扫描算法通过前馈连接同时接收KFGN的图信息,然后利用前馈图信息辅助更有效地更新状态转移矩阵和控制矩阵。

(3)引入了KFGN作为一种专门的自适应时空图生成和更新方法,它可以很好地适应基于sssm的上下文。在KFGN中,DynamicFilter-GNN作为生成特定输入的动态图结构的模块。Kf更新机制将来自不同时间粒度的STG输入建模为并行流,并通过卡尔曼滤波的统计理论学习对输出嵌入进行集成以进行优化。

二、模型框架

通过集成基于卡尔曼滤波的优化和升级,KFGN通过动态权衡来自不同时间粒度的数据流的可靠性,根据估计的方差优化这些数据流的融合,有效地解决了这些不准确性。

三、实验结果

四、总结与思考

1.首次为时空图学习任务引入了基于深度学习的选择状态空间模型(SSSM)。通过卡尔曼滤波图神经网络(Kalman Filtering Graph Neural Networks, KFGN),学习到的STG嵌入实现基于统计学习的平滑优化升级,与整个STG选择性状态空间建模过程保持一致。与基于注意力的方法相比,STG-Mamba实现了线性时间复杂度,并大幅降低了FLOPs和推理时间。

2.了解一下时空图的应用。