来源:GigaScience(Oxford University Press)
单位:中国科学院大学杭州高等研究院、广州国际生物岛国家实验室等
发表时间:2025年03月
一、论文介绍
背景:LLM在生物医学领域展现出巨大潜力,但其固有的事实幻觉问题严重制约了其在精准医疗等关键场景的实际应用。
核心: 基于这一背景,基于这一背景,论文提出了KGT(知识图谱–based thought)框架,该框架通过引导LLM在知识图谱的模式层进行路径推理,而非直接检索实体,有效解决了多跳问题中的中间实体缺失难题,显著减少了事实错误并提升了问答准确性。
二、方法对比
KGT通过创新的“图模式推理”机制,成功解决了传统方法在多跳问题中因中间实体缺失而失效的瓶颈。

A)这是传统的大语言模型(LLM)单独回答问题的方式。它完全依赖模型内部的知识,但常常会产生事实错误,也就是我们常说的“幻觉”,这在要求严谨的生物医学领域是致命的。
B)为了解决这个问题,研究者们尝试用知识图谱(KG)来增强LLM。这种方法通过检索与问题相关的知识子图来辅助回答。但它有一个致命的缺陷:当遇到多跳推理问题,且问题中没有明确给出中间实体时,它就无法检索到正确的路径,就像图中所示,路径在中间就断掉了。
C)而我们的KGT框架,正是为了解决这一核心痛点而提出的。我们的创新之处在于,我们不让模型直接在庞大的知识图谱中检索具体实体,而是让它在知识图谱的模式层上进行推理。模式层只包含实体类型(如“药物”、“基因”)和关系类型(如“治疗”、“靶向”)。通过这种方式,模型可以先推断出缺失的中间实体的“类型”,从而找到正确的推理路径,最终生成准确的答案。
三、框架流程

(A)第一步:问题分析。当用户输入一个自然语言问题后,LLM会首先对其进行解构,提取出关键信息,比如头实体的名称、尾实体的类型以及相关属性。
(B)第二步:图模式推理,这是整个框架的灵魂。我们将上一步提取的头尾实体类型,输入到知识图谱的模式图中。通过广度优先搜索(BFS)算法找到所有可能的路径,再利用文本嵌入技术计算与问题的相似度,选出最优的推理路径。这一步完美解决了我们上一页提到的中间实体缺失问题。
(C)第三步:子图构建。有了最优路径,LLM会生成一个查询语句(如Cypher),在完整的知识图谱中检索出对应的具体子图,这个子图包含了回答问题所需的所有事实依据。
(D)第四步:推理与输出。最后,LLM基于这个结构化的子图进行推理,过滤掉无关信息,并将推理结果组织成流畅的自然语言答案。
总结一下,KGT通过这四步,实现了一个从“自然语言问题”到“模式推理”,再到“知识检索”,最后回到“自然语言答案”的完整闭环,整个过程无需微调,即插即用。”
四、定义数据基础与任务
首先,我们使用了一个大规模的泛癌症知识图谱,名为SOKG。从表中数据可以看出,SOKG的规模远超同类知识图谱,拥有超过364万个实体和1065万条关系,并且包含了98种属性类型。这为我们的研究提供了坚实、丰富的数据基础。

基于这个强大的知识图谱,我们构建了生物医学领域首个知识图谱问答基准——PcQA。如表所示,我们设计了四种类型的任务来全面评估模型能力:
单跳问题:最简单的单步推理。
多跳问题:需要多步推理,且不提供中间实体信息,更具挑战性。
交集问题:需要综合多条路径的结果。
属性问题:涉及实体的具体属性查询。

五、案例分析和实验结果
(A) 药物重定位:KGT通过分析知识图谱,发现卡替洛尔和另一种已用于治疗血管瘤的药物普萘洛尔,都作用于同一个靶点ADRB1。基于此,KGT提出了一个极具价值的科学假设:卡替洛尔或许也能用于治疗血管瘤。这为新药研发提供了重要线索。
(B) 耐药性分析:KGT准确识别出ALK-p.L1196M基因突变会导致对奈拉替尼的耐药。这个结论可以直接指导临床医生,为携带该突变的患者选择更有效的替代治疗方案,避免无效用药。

表3展示了KGT与其他知识图谱问答方法的对比结果。可以看到,KGT在GPT-4评估、BERTScore和ROUGE等所有指标上,都取得了压倒性的优势。特别是在最重要的F1分数上,KGT比之前最好的方法KG-GPT提升了33个百分点!这主要是因为KGT通过模式推理,能更好地理解生物医学问题中的实体类型和复杂关系。

为了进一步展示KGT的普适性,我们将其与通用和生物医学领域的顶级大模型直接对比。如表所示,即使是“KGT + 开源的Code-Llama”组合,其性能也远超“ChatGPT-3.5 + 增强提示”和专业的医学大模型Taiyi。F1分数甚至比ChatGPT-3.5高出52.7%。

依次移除KGT框架中的关键模块,观察性能下降的程度。
当我们移除“图模式推理”(GSBI)模块时,F1分数暴跌了20%。这证明了模式推理是框架的绝对核心。
如果再移除“问题分析”(QA),性能会进一步下降,说明准确的问题解析是模式推理的基础。
而如果完全不用知识图谱,只靠LLM自身知识(即移除QA、GSBI和SC),性能则一落千丈,F1分数只有12.2%。
这个结果清晰地告诉我们:KGT的成功并非偶然,其框架的每个模块都不可或缺。图模式推理是引擎,问题分析是方向盘,而子图构建则是燃料,三者共同作用,才造就了KGT的卓越性能。

六、论文总结和对齐思考
论文提出了一个基于知识图谱增强的大模型推理框架KGT,用于提升生物医学领域问答的准确性。
(1)图模式推理:通过在知识图谱的模式层推理,解决了多跳问题中中间实体未知的核心难题。
(2) 即插即用架构:无需微调,通过提示工程实现,兼具低成本与高灵活性。
(3)首个领域基准:构建并开源了首个生物医学知识图谱问答基准PcQA,填补了领域空白。
(1) 模式引导推理:借鉴KGT的图模式推理,构建“中医-免疫模式图”,引导LLM先推理出抽象路径,再检索具体数据,实现从“双链融合”到“模式引导的单链构建”升级。
(2) 动态剪枝融合:借鉴KGT在子图推理中动态剪枝的思想,将“证据三角融合”从静态后处理升级为嵌入推理过程的动态过滤器,实时过滤低相关性证据。
(3)路径图可视化:借鉴KGT的关系图可视化方法,将您的文本因果链升级为直观的“经络-免疫融合因果路径图”,极大增强结果的可解释性。