作者： Xiang Shi , Jiawei Liu , Yinpeng Liu , Qikai Cheng , Wei Lu

期刊： Decision Support Systems

时间： 2024.10

一、背景

    随着大型语言模型（LLMs）的发展，其在信息检索领域的应用潜力逐渐显现。LLMs通过理解用户意图，能够提供更直接的答案，从而改善了搜索的相关性。然而，传统的信息检索算法存在局限性，LLMs本身也可能产生“幻觉”问题，即生成不准确或不可靠的信息。这些问题限制了LLMs在搜索领域的应用。因此，如何提高LLMs作为搜索工具的相关性、责任感和可信度，成为了一个亟待解决的问题。

二、核心内容

    文章的核心内容是提出了一个新的生成式检索框架，旨在将大型语言模型（LLMs）转变为一个相关、负责任和值得信赖的搜索引擎。该框架通以下几个关键组件实现：

   首先，LLM检索器利用LLMs的海量知识库，通过思维链（CoT）机直接从用户查询中定位到可靠的网络资源；

其次，使用验证器对检索到的资源进行严格验证，通过提取和评估证据句子的可靠性，确保检索结果的准确性；

然后，优化器根据验证器的反馈，对检索到的资源进行进一步的优化，以提高搜索结果的相关性和可信度。

最后，交给生成器总结并输出内容。       

  这一框架通过多轮验证策略和模块化、并行架构，超越了现有的最先进方法，提高了源召回效率和证据验证精度，

三、技术路线

3.1 现有的生成检索框架 

  在LLM的增强下，出现了New Bing、WebGPT和WebGLM等生成检索系统。这些生成系统基本上由三个模块组成：检索器、验证器和生成器。尽管在LLM生成的加持下检索能力和搜索相关性有了比较大的提升，但受到搜索引擎固有缺陷和LLM幻觉问题的影响，当前的生成检索系统仍然存在重大的不可靠性和可信度问题。

3.2  新的生成检索框架

   新的生成检索框架建立在传统结构的基础上，通过结合LLM重新设计了检索器的操作过程，它修改了验证器并引入了一个优化器模块，为网络源检索和证据验证建立了一个可靠可靠的链。

    检索器：由两部分组成：一个是基于LLM的源检索器，另一个是搜索引擎辅助的网络检索器。前者旨在根据用户查询定位网络源URL，而后者则基于前者的基础来验证和检索所定位的网页。

    验证器：是验证链中的第三个环节，旨在验证网络检索器检索到的网页的相关性和可靠性。

    优化器：是验证链中的最后一个环节，它根据验证器的反馈更新和重新验证检索到的web源。

    生成器：与传统架构保持一致，过滤验证器检索到的源证据，并在综合证据和引用后给出答案。

    验证链：网络存在验证是验证链中的第一个环节，旨在在URL生成过程中验证前一个网络的输出，以防止在CoT中传播幻觉问题；URL可访问性验证是验证链中的第二个环节，将LLM生成的URL输入搜索引擎，以验证这些来源的可访问性；验证器是和优化器分别是第三、第四个环节。

四、实验

4.1  数据集与评价指标

    数据集：使用了ELI5问答数据集的272个条目作为主要测试数据。

    构建了一个包含54,200个指令的数据集，涵盖多个任务。

    评价指标：为了评估新提出的生成型检索框架的性能，定义了一系列评价指标。

        检索能力指标：包括检索到的源数量（Ss）、检索到的主题平均数量（St）、检索源的时效性（Pt）、可访问性（Pa）、一致性（Pc）和有效性（Pv）；

        验证能力指标：包括识别的证据句子数量（Se）、证据句子识别的精确度（Pp）、证据句子置信度排名的准确性，以及NDCG和NDCG@5指标；

        生成能力指标：包括产生正确答案的查询数量（Sq）和生成答案中是否包含真实答案（cover-EM）。

4.2  实验设计

    围绕两种框架的评价指标对比，文章先后开展了性能评估、消融实验、能力评估、模型扩展、指令有效性、推理效率和方法泛用性等七项实验。

4.3  实验结果

从检索能力来看，文章中的方法在LLM检索器的支持下实现了网络资源的直接定位，同时保持召回页面和查询之间的强相关性。与现有的最佳系统相比，检索结果的有效性和精确度分别提高了2.54%和1.05%。从验证能力的评估结果来看，验证链确保了检索到的证据具有更高的置信度。从生成能力的评估结果来看，文章提出的新型生成检索框架在LLM检索器和验证链的支持下，最终生成结果明显优于现有系统。

综合分析各项实验结果：

    组件贡献：  验证器和优化器的引入显著提高了检索框架的整体性能，尤其是在提高检索和验证的准确性方面。

    效率和优化：  新框架的平均总运行时间为20.55秒/查询。通过模型加速推理框架和并行化策略等技术优化，可以提高框架的运行效率。

    泛化能力： 框架在不同类型的任务和数据集上均显示出良好的性能，证明了其广泛的适用性和泛化能力。

    应用潜力：   新框架可以作为传统搜索引擎的有力补充，特别是在需要直接、准确答案的场景中，可以提高组织效率和决策质量。

五、总结与思考

1.文章结合大语言模型的能力和现有的生成检索框架，提出了一个创新的生成型检索框架。通过结合LLM的知识直接链接用户查询和网络资源，该框架在减少对传统搜索引擎依赖的同时，提高了搜索结果的相关性和准确性。

2.文章中提出的验证链机制，对于解决大模型检索过程中的幻觉问题，提供了新颖的思路和方法。对于文旅网页数据大模型整合中，前期网页数据的收集有积极的参考意义。