Author: Kevin Wilkinghoff, Zheng-Hua Tan
Unit:丹麦奥尔堡大学, 丹麦人工智能先锋中心
Journal: ICASSP
Year: 2026.05

一、研究背景

二、核心贡献

三、方法

(1)对于输入的双耳道音频，提取左右声道 Mel 频谱、GCC-PHAT、ILD以及IPD等空间音频特征

(2)对于不同任务进入不同解耦分支，每个分支通过不同的注意力模块选择不同的特征，再形成任务特定时频图，再将时频图划分为多个不重叠的时频patch，然后在通过transformer学习时频和空间关系

(3)将上述三个分支重新堆叠，再提取三个任务各自的token，剩下的送入 Q-Former，然后映射到大语言模型的文本嵌入空间，用于空间音频问答和推理

四、实验

1.实验准备

2.实验结果——Performance of DSpAST

(1)DSpAST Stage 3在四项指标上均优于SpatialAST，解耦表示能够同时改善语义、方向和距离任务。
(2)Stage 1 只训练声音事件检测，因此 mAP 较高，但方向和距离性能接近失效；Stage 2 加入距离和方向监督后，空间任务性能大幅改善；Stage 3 使用平衡数据继续训练，主要进一步提升 SED，同时基本保持方向和距离性能。
(3)新增的空间特征主要改善方向估计，而对距离预测可能存在冗余或干扰；特征融合效果并不是对所有任务效果好。

3.实验结果——Spatial Audio Captioning

(1)DSpAST 的优势能够从编码器任务迁移到 LLM 下游，声音事件问答提升、方向估计提升明显、距离预测得到改善，并且空间关系推理得到提升。
(2)单阶段训练效果反而优于多阶段训练，更复杂的下游课程训练并未带来额外收益，作者建议采用单阶段训练，以减少计算成本并获得更高性能。

五、总结

(1)提出 DSpAST 空间音频编码器，使单一编码器能够同时建模声音事件、声源距离和到达方向，为大语言模型提供更完整的空间音频表示。
(2)提出任务特定的三分支结构，分别为声音事件检测 、距离预测和方向估计建立独立的信息路径与特征注意力，使不同任务能够选择适合自己的声学特征。
(3)融合多种双耳空间线索并保持高效参数共享，并通过参数共享将额外参数控制在约 0.2%。
(4)实验验证 DSpAST 同时提升基础空间感知与下游推理能力；接入 BAT 后，SpatialSoundQA 平均空间推理准确率提升，说明清晰的任务解耦表示能够有效改善大语言模型的空间音频理解。

六、对齐思考

1.方法创新点——全域数据拓扑建模:提出 DSpAST，提出 DSpAST，通过 SED、距离和方向三个任务分支及独立特征注意力，使不同任务按需选择 log-mel、IPD、ILD 和 GCC-PHAT 等特征。

2.技术目标点——虚实空间孪生推演:在一个编码器中同时表达“是什么声音、来自哪个方向、距离多远”，并通过共享 Transformer 将新增参数控制在约 0.2%。

3.中试产品点——埃觅文旅: 为大语言模型提供结构化空间音频表示，提升声音问答、声源定位和空间关系推理性能。