来源:2024 IEEE International Conference on Quantum Computing and Engineering (QCE)
作者: Xuan-Bac Nguyen, Hoang-Quan Nguyen, Samee U. Khan, Hugh Churchill
单位:CVIU实验室

一、论文主要工作及贡献

在这项研究中，作者引入了QCLUSFORMER，这是一个开拓性变压器的框架，利用量化机制来应对无监督的视觉聚类挑战。
具体来说，作者设计了变压器体系结构，包括自注意力模块和变压器块，从量化角度来实现量化硬件的执行。
论文贡献如下：提出了一种基于变压器的方法，称为QCLUSFORMER，用于在量化计算领域内进行视觉聚类。引入了使用参数化量化环路的自注意力模块和变压器层。各种基准数据集的经验实验结果表明，与相应的经典算法相比，本文提出的方法的有更强新颖性和效率。

二、模型框架

2.1. Motivations

利用经典变压器原理，通过量化角度概念化了变压器的最重要元素，自注意力机制，将其应用扩展到量化机制。构建了包括自注意力模块和参数化的量化环路，用作线性层以构建量子变压器体系结构。 并为量化机制提出了一个基于变压器的聚类框架，以识别群集中的嘈杂或硬样品。

2.2. Quantum State Feature Encoding

2.3. Quantum Transformer

三、实验结果

四、总结与思考

（一）、论文的核心内容:

    在本文中，作者提出了针对基于变压器的视力聚类问题的QCLUSFORMER，一种量化方法。 QClusFormer方法利用参数化的量化回路来利用自注意力计算中的量化信息。对多个大型视觉聚类基准的竞争评估结果表明，在各种应用中，提出的变压器基群集群框架的潜力。

（二）、综合对齐思考:

1.这篇论文在聚类方面还是根植于传统聚类算法，没有摆脱对传统聚类算法的依赖性。

2.文章对transformer的自注意力层做了改变，并且针对于图像数据。