作者：Erle Zhu, Yadi Liu, Zhe Zhang, Xujun Li, Jin Zhou, Xinjie Yu, Minlie Huang, Hongning Wang
时间：2025
来源：ICLR 2025

背景

多模态大语言模型（MLLM）已经能够处理图像问答、图像描述和一般的视觉推理任务，但一旦问题涉及复杂的物理示意图、精确的数值计算和专业领域知识，模型的表现会明显下降。电路分析就是一个典型例子：模型不仅要识别电阻、电源、受控源和测量标记，还要理解它们之间的拓扑连接，读取图中的数值或标签，并根据基尔霍夫定律等知识完成计算。

这类任务的困难可以拆成两个相互关联的问题。第一是物理感知错误：模型可能认错元件、读错参数，或者误判线路连接关系。第二是物理分析错误：即使图示理解正确，模型仍可能在复杂方程推导和数值计算中产生幻觉，给出看似合理但不符合物理规律的答案。

传统的多模态思维链方法，通常要求模型先生成一段自然语言解释，再据此推理。但自然语言描述缺乏严格的物理约束，模型仍然可能在中间步骤中编造元件关系或计算结果。MAPS 的核心出发点是：让模型先把像素形式的物理图示转换成一种可执行的模拟语言，再交给专业物理模拟器计算状态和观测值。这样，图示理解与物理计算被拆开，模型的语言推理由模拟器提供可靠的数值支撑。

核心贡献

• 提出 MAPS框架，将多模态大模型、物理感知模型和专业模拟器组合起来，解决带复杂物理图示的专家级科学推理问题。
• 设计 Physics Perception Model（PPM），将像素级物理图示转换为形式化、可执行的模拟语言描述。在电路场景中，输出语言是 SPICE 网表。
• 提出 Chain-of-Simulation（CoS）推理流程：先由 PPM 识别图示，再由 MLLM 结合题干补全模拟描述，随后调用 NgSPICE 得到物理仿真结果。
• 提出 Simulation-Aided Reasoning（SAR），将原题、原始图像、模拟语言和模拟结果一起提供给 MLLM，帮助模型完成最终解释和答案推理。
• 设计自动化合成数据管线，从图示布局出发同步生成像素图和对应模拟语言，缓解科学领域真实配对数据稀缺的问题。

方法

MAPS 包含两个阶段：PPM 构建阶段和推理阶段。

PPM 构建阶段的目标是训练一个专门的视觉语言模型，将物理图示转换成模拟语言。推理阶段则由 PPM、物理模拟器和 MLLM 协同完成。可以把它理解为一条三段式链路：

像素图示 -> 形式化物理描述 -> 精确仿真结果 -> 最终答案

其中，PPM 负责从视觉输入中提取物理结构，模拟器负责执行物理规律，MLLM 负责整合题意、图示和仿真信息并生成最终回答。

首先根据人工设计的分布生成电路图布局，再分别转换为 LaTeX 图像和 SPICE 模拟语言，构造配对合成数据。随后利用这些数据微调视觉语言模型，得到物理感知模型（PPM），用于将电路图转换为 SPICE 描述。

推理阶段
对输入的电路题目，PPM 首先生成初始 SPICE 描述，MLLM 再结合题目文字补充元件参数。之后将完整的 SPICE 代码输入 NgSPICE 模拟器，得到电压、电流等仿真结果。最后，MLLM 综合原始题目、电路图、SPICE 描述和仿真结果，完成最终推理并输出答案。

实验

论文在电路分析场景中进行验证。训练数据是自动生成的 LPRC 电路图和 SPICE 配对数据，推理阶段使用：

• PPM：CogVLM-17B；
• MLLM：GPT-4V、Claude-3.5、GLM-4V 等；
• 物理模拟器：NgSPICE；
• 评测集：SimpleCircuitEval。

SimpleCircuitEval 从大学电路教材前四章中收集并筛选出 79 道题，覆盖电路元件与基本定律、简单电阻电路分析、线性电阻电路的一般分析方法，以及复杂拓扑和电路定理。每道题都有明确的标准答案，可以直接计算准确率。

作者从三个角度评估 PPM：

• ACCCQ：元件数量和类型是否全部识别正确；
• ACCCV：在元件识别正确的基础上，元件数值是否识别正确；
• ACCsim：生成的 SPICE 与标注 SPICE 是否产生一致的仿真结果。

在合成测试集上，数值型电路的 ACCCQ 为 99.2%，ACCCV 为 95.5%，ACCsim 为 85.4%；标签型电路的 ACCCQ 为 98.5%。但在真实电路图上，数值型电路的 ACCsim 只有 53.3%，标签型电路的 ACCCQ 只有 80.0%。这说明合成数据训练能够学到较好的结构转换能力，但从合成图泛化到真实图仍然存在明显差距。

MAPS 与基线比较

从总体准确率看，MAPS 对 GPT-4V、Claude-3.5 和 GLM-4V 分别带来约 4.3 倍、4.0 倍和 3.0 倍提升。提升主要来自两个方面：一是 PPM 提供了比原始像素图更稳定的物理结构表示；二是 NgSPICE 为复杂数值推理提供了可靠计算结果。主要涉及电阻等效变换，其中很多问题不能直接交给当前的模拟流程执行。说明 MAPS 的优势依赖于问题能否被正确表达并运行在模拟器中。

消融实验

作者在 20 道题上比较了不同组件的作用：

结果说明，模拟器是整个系统中最关键的部分。仅保留 SPICE 描述而移除仿真结果时，准确率从 55% 降到 15%；即使让 MLLM 根据 SPICE 编写 Python 程序进行计算，也没有改善。模拟语言同样不可有可无，去掉它后准确率从 55% 降到 45%，说明结构化描述在连接视觉图示和数值结果方面发挥了独立作用。

结论

MAPS 提出了一条清晰的技术路线：面对需要理解复杂物理图示的科学问题，先训练一个物理感知模型，把图像转换成形式化模拟语言；再调用专业模拟器执行精确计算；最后让多模态大模型基于结构化描述和仿真结果完成解释与回答。

它的实验结果说明，提升多模态科学推理能力不一定要把所有物理知识都塞进大模型参数里。更有效的办法可能是让模型学会把视觉世界翻译成领域工具能够执行的表示，再让工具承担它最擅长的计算工作。对于科学智能系统而言，关键问题从“模型能不能自己推导全部结果”，转变为“模型能不能正确感知、正确调用工具，并根据工具结果完成可验证的推理”。