作者：Xiaohang Xu，Toyotaro Suzumura，Jiawei Yong等
单位：日本东京大学
来源：ACM SIGSPATIAL
发表时间：2023年11月

一、研究背景

存在的问题：
1、现有的基于图的时空建模工作缺乏从全局角度对空间和时间信息的有效整合。
2、从个人移动性中捕获更复杂和细微的用户行为仍然具有挑战性。
3、缺乏可以利用低频率位置数据的有效训练方法。

为解决这三个问题，提出一种新的Mobility Graph Transformer（MobGT）模型。该论文的主要贡献总结如下：
1、本文提出了全局移动GNN模块，从三个角度：空间，时间，和POI类别，合作建模用户的POI转换模式。
2、本文提出了一个基于图的Transformer模型来建模每个用户的本地移动图，它可以利用显式的上下文信息来丰富表示结果，并使用一个专门的编码模块来捕获图中的高阶依赖关系。
3、本文提出了一个新的损失函数：尾损失，以解决位置数据长尾的问题。

二、技术思想

基于全局图的POI嵌入

全局空间图：该模型构建了一个无向POI-POI图。如果两个POI在地理上相邻，即两个POI之间的半正矢距离Δθ低于阈值，就在它们之间添加一条边。
全局时态图：该模型提出了一个有向POI-POI图，其中边缘权重指POI对在所有轨迹中的频率。
全局类别图：该模型根据所有用户的轨迹连接每个有向类别对，每对之间的边权重是类别对出现的频率。
为了获得POI嵌入，采用GCN从三个全局图中学习相关的上下文特征。对于空间POI嵌入和时间POI嵌入，首先将它们馈送到池化层中以获得聚合POI嵌入。然后，使用以下方法将POI和类别嵌入无缝融合：

其中||表示连接，𝜎是Leaky ReLu激活函数。

基于局部图的移动嵌入

为了捕捉POI和时间模式之间的关系，该论文将签到时间离散化为每天48个间隔，并利用嵌入层来为每个时间间隔生成低维向量表示。
然后，利用与POI和POI类别融合相同的方法，对POI嵌入和时间嵌入的信息进行聚合，得到聚合POI嵌入。
此外，由于观察到POI访问的频率在不同的时间段内变化很大，所以使用频率信息来丰富POI的语义表示非常重要。因此，该论文使用一个嵌入层来训练一个POI频率嵌入层。

时空图注意机制

预测和优化

用户嵌入和预测层：训练层从嵌入在输入移动性子图中的一阶和高阶特征中学习用户的过渡模式。然而，为了进一步将用户信息嵌入到模型中并提供更个性化的POI推荐服务，通过可训练矩阵引入用户嵌入，同时也将训练层输出的移动嵌入表示为移动嵌入。该论文在全局图中使用相同的融合方法来连接用户嵌入和移动性嵌入，以形成一个代表性的嵌入。为了预测用户的下一个访问位置，采用两种不同的多层感知器模型（MLP）作为预测层，分别预测下一个POI和POI类别。

优化：该论文采用交叉熵作为POI预测的主要损失函数。然而，由于POI类别的数目显著小于POI的数目（即长尾问题），模型可能在学习具有有限数据的某些POI的特征方面面临挑战，导致模型性能下降。为了缓解这一点，该论文引入了预测POI类别的额外任务，并提出了如下的尾部损失

三、实验

数据集

基线模型

MC是一种传统的推荐模型，它基于从马尔可夫链导出的概率来预测后续项目。
LSTM是RNN模型的一种变体，旨在通过同时考虑长期和短期依赖关系来有效地对序列进行建模。
ST-RNN通过合并时间和空间特征的变换矩阵扩展了传统的RNN。
DeepMove通过集成多个注意力机制来捕获序列模式，以模拟用户的长期和短期兴趣。
Flashback是一个基于RNN的模型，它非常强调对历史签入数据进行建模。
LSTPM利用地理非本地LSTM架构来建模长期利益的演变模式，并利用地理扩张LSTM来捕获短期利益的地理依赖性。
STAN采用注意力机制来学习签入序列中非相邻POI之间的时空关系。
GETNext是一个基于Transformer的模型，它利用所有用户移动模式来表示POI。GETNext是下一个POI推荐任务的最新模型。

实验结果

消融实验

（1）完整的MobGT
（2）没有空间全局图
（3）没有时间全局图
（4）没有所有全局图（空间、时间和类别）
（5）没有ST图形注意力组件
（6）没有包括用户、类别、频率和签到时间的相关上下文信息，仅使用来自全局视图的POI嵌入
（7）没有提出的尾损失并且利用交叉熵损失作为类别预测损失，
（8）没有类别解码器

超参数研究

四、总结

MobGT是一种基于图Transformer的下一代兴趣点（POI）推荐模型，旨在解决现有模型在时空信息融合、复杂用户行为捕捉以及长尾数据问题上的局限性。
MobGT的主要特点包括：
全局视角建模：从空间、时间和POI类别三个维度构建全局图，全面捕捉POI之间的关系和用户行为模式。
局部图Transformer：将用户轨迹转换为局部图，并利用Transformer模型捕捉POI之间的高阶依赖关系，增强语义信息。
时空注意力机制：引入结构编码、位置编码和趋势编码，更有效地捕捉用户轨迹中的时空特征。
Tail Loss：提出新的损失函数，解决长尾数据问题，提高模型对低频POI的推荐能力。

课题综合对齐思考

MobGT 强调了从全局视角建模用户移动模式的重要性，这包括空间、时间和 POI 类别三个维度。在进行用户未来轨迹预测时，也需要考虑全局信息。可以尝试构建包含空间、时间和类别信息的全局图，并使用 GNN 学习 POI 和用户的表征，从而更好地捕捉用户移动模式。
MobGT 使用 Transformer 模型来学习用户个人移动子图中的高阶关系，例如闭环轨迹、重复的移动模式等。在进行用户未来轨迹预测时，也需要考虑轨迹中的高阶关系。
MobGT 提出了 Tail Loss 来解决 POI 数据中的长尾问题，值得参考学习。
MobGT 具有良好的可解释性，例如可以通过中心节点的关联关系来解释模型预测结果。