作者：G. H. Harish Nayak；Md. Wasi Alam；B. Samuel Naik；B. S. Varshini；G. Avinash；Rajeev Ranjan Kumar；Mrinmoy Ray；K. N. Singh

来源：Journal of Big Data，Volume 12，Article 138（2025）

时间：2025年5月31日

单位：ICAR-Indian Agricultural Research Institute；University of Agricultural Sciences；Banaras Hindu University；ICMR-National Institute of Occupational Health

一、研究背景

农业商品价格受到季节性、供需变化、气候条件以及市场波动等多种因素影响，因此价格序列通常具有较强的非线性和复杂性。传统统计模型在处理复杂非线性关系时存在一定局限，而ANN、LSTM、SVM等机器学习和深度学习模型虽然能够学习价格序列中的非线性规律，但模型性能往往依赖于超参数设置，人工调参不仅耗时，而且难以保证获得较优的参数组合。

Transformer利用自注意力机制能够捕捉时间序列中不同时间步之间的依赖关系，在处理长期依赖问题方面具有一定优势，但其预测效果同样受到注意力头数量、网络层数、学习率、批大小等超参数的影响。因此，本文提出将Transformer与元启发式优化算法相结合，通过PSO、GWO和WOA自动搜索Transformer的超参数，从而减少人工调参的影响，并提高农业商品价格预测的准确性。

二、核心贡献

本文提出了Meta-Transformer框架，将Transformer的时间序列建模能力与元启发式算法的参数搜索能力相结合。作者分别采用粒子群优化（PSO）、灰狼优化（GWO）和鲸鱼优化（WOA）对Transformer的关键超参数进行自动搜索，最终构建Transformer-PSO、Transformer-GWO和Transformer-WOA三种模型。

本文的主要贡献可以概括为：

• 将Transformer应用于农业商品价格预测，利用自注意力机制捕捉价格序列中的长期依赖关系。

• 利用PSO、GWO和WOA自动优化Transformer超参数，减少传统人工调参的工作量。

• 在5个印度北部市场的马铃薯周价格数据上进行实验，并与GARCH、ANN、SVM、LSTM和普通Transformer进行比较，从而验证模型的预测性能。行比较，结果表明优化后的Transformer整体具有更好的预测表现。

三、研究方法

首先对历史马铃薯价格数据进行预处理，包括使用Kalman平滑方法处理缺失值，并使用Min-Max方法进行归一化。随后将连续的历史价格数据转换为监督学习数据，即利用过去一段时间的价格作为输入，未来价格作为预测目标。

在模型部分，首先建立Transformer，通过自注意力机制学习历史价格序列中不同时间步之间的关系。在此基础上，利用PSO、GWO和WOA对Transformer的超参数进行搜索，包括注意力头数量、Transformer模块数量、隐藏层规模、学习率、批大小、训练轮数、激活函数和优化器等。

三种优化算法简介

1. 粒子群优化算法（PSO，Particle Swarm Optimization）
PSO模拟鸟群或鱼群的群体搜索行为，将每一个粒子看作一个候选解。在本文中，一个粒子对应一组Transformer超参数，粒子根据自身历史最优位置（个体最优）以及整个群体的最优位置（全局最优）不断调整自身位置，从而搜索较优的超参数组合。PSO具有结构简单、实现方便和收敛速度较快等特点，但也可能出现过早收敛的问题。

2. 灰狼优化算法（GWO，Grey Wolf Optimizer）
GWO模拟灰狼群体的等级制度和围捕猎物行为，将狼群划分为Alpha、Beta、Delta和Omega等不同等级，其中Alpha、Beta和Delta代表当前搜索过程中较优的三个解，其余个体根据这三个较优解调整搜索位置。本文利用GWO搜索Transformer的超参数，使模型逐步接近较优的参数组合。该算法具有较好的全局搜索能力和稳定性。

3. 鲸鱼优化算法（WOA，Whale Optimization Algorithm）
WOA模拟座头鲸捕食时的围捕和气泡网捕食行为，通过包围猎物、螺旋更新等机制搜索最优解。算法通过不断调整候选解的位置来寻找更优的Transformer超参数组合。WOA具有较强的搜索能力，能够在较大的参数空间中探索不同的超参数配置，但其搜索过程也可能存在一定的不稳定性。

因此，整个方法可以概括为：

历史价格数据 → 数据预处理 → 构造时间窗口 → Transformer → PSO/GWO/WOA优化超参数 → 得到最优参数 → 价格预测

四、实验

本文使用印度北部5个市场的马铃薯周价格数据，包括Dehradun、Farrukhabad、Ludhiana、Pipli和Una，数据时间跨度大约为2003—2024年。数据按照训练集、验证集和测试集进行划分，其中90%的数据用于训练，训练数据中的20%进一步用于验证，最后约10%的数据用于测试。

实验主要采用RMSE和MAE评价模型的预测误差，并与GARCH、ANN、SVM、LSTM以及普通Transformer进行比较。实验结果表明，经过元启发式算法优化后，Transformer在多个市场上的预测误差明显降低。

例如：

Dehradun：Transformer-WOA的RMSE和MAE分别为63.77和44.69，而普通Transformer为175.33和135.13。

Farrukhabad：Transformer-GWO取得35.78的RMSE和28.27的MAE。

Pipli：Transformer-WOA的RMSE和MAE分别为60.69和35.42。

总体来看，PSO、GWO和WOA优化后的Transformer相比传统模型和普通Transformer具有更好的预测表现。但不同市场上的最优优化算法并不完全相同，例如部分市场中WOA表现较好，而另一些市场中GWO表现更好，因此不能简单认为某一种元启发式算法始终优于其他算法。

五、总结

本文的核心思想是：

Transformer负责学习时间序列中的复杂长期依赖关系，元启发式算法负责自动寻找Transformer的最优超参数。

与直接使用Transformer相比，该方法减少了人工调参的需求，并提高了模型的预测性能。实验结果表明，Transformer与PSO、GWO、WOA结合后能够有效提升农业商品价格预测效果。

对于硫磺价格预测研究，本文的主要启发是可以借鉴“Transformer+智能优化算法”的思路，将历史硫磺价格以及石油、天然气、化肥、硫酸、镍、汇率等影响因素作为模型输入，再利用PSO、GWO或WOA优化Transformer的关键超参数，从而构建硫磺价格预测模型。