作者： Zilong Wang, Hao Zhang, Chun-Liang Li等

来源： ICLR 2024

时间： 2024.01

一、背景

1.表格是一种流行的数据格式，广泛应用于日常生活，通过行列结构传递丰富信息，但这种结构同时增加了语言模型理解的难度。

2.现有表格理解方法主要分为两类：一类是向语言模型添加专门的嵌入层或注意力机制并进行预训练；另一类是基于SQL执行器的编码器-解码器模型预训练。

3.大型语言模型(LLMs)虽然通过提示可以实现良好表现，但Chain-of-Thought等推理链形式以自由文本或代码表示，不适合处理复杂表格结构。

二、核心创新

    1. 提出将表格数据明确用于推理链中作为中间思想的代理，通过表格的连续演化形成链条，更直观地展示推理过程。

    2. 设计了一套基于LLMs的动态规划机制，通过上下文学习引导模型迭代生成操作并更新表格，能够根据前一步骤的结果动态规划下一步操作。

    3. 中间表格携带结构化信息，相比自由文本形式的中间思想更加结构化，使预测更准确可靠。

    4. 框架设计模块化且可扩展，能够适应不同的表格操作和LLM模型，提高了方法的泛化能力。

三、 Chain-of-Table 框架

3.1 基于表格问题的标准化和原子表格操作

    在基于表的推理中，每个项目都可以表示为三元组（T，Q，a），其中T代表表，Q代表与表相关的问题或陈述，a是预期的答案；在基于表格的问答任务中，Q和A是自然语言形式的问题和期望答案；在基于表的事实验证任务中，Q是关于表内容的语句，a∈{True，False}是一个布尔值，表示语句的正确性。目标是根据问题Q和表T预测答案A。
    利用原子操作来构建表链。这些操作包括添加列（ f_add_column()）、选择行或列（ f_select_row()、 f_select_column()）、分组（ f_group_by() ）和排序（ f_sort_by() ）。 这些在SQL和DataFrame开发中很常见。

3.2 算法设计

3.3 动态规划和参数生成

3.4 最终查询

   通过动态规划和参数生成来转换表格，在此过程中，框架创建了一个操作链，作为表格推理步骤的代理。

   这些操作生成中间表，用于存储每个步骤的结果并将其呈现给LLM。因此，此操作链的输出表包含有关表格推理中间阶段的全面信息。最后，将输出表和问题都输入到LLM中，让LLM提供问题的最终答案。

四、实验

4.1 实验准备

4.2 实验结果

4.3 实验分析

  Chain-of-Table在所有三个数据集和三个模型上都优于所有基线方法。

    （1）在WikiTQ上，PaLM 2的准确率从最高基线的61.48%提升到67.31%

    （2）在TabFact上，PaLM 2的准确率从最高基线的84.63%提升到86.61%

    （3）在FeTaQA上，BLEU分数从基线的29.47提升到32.61

此外， Chain-of-Table的优势还体现在：

    （1） Chain-of-Table在所有操作链长度上都优于Chain-of-Thought和Dater。随着操作链长度增加，性能下降，但Chain-of-Table下降更为平缓。

    （2） 在大型表格(>4000 tokens)上，相比第二好的方法提高了10.25%

表明推理链在处理长表格输入时更有效

    （3） 在效率方面，Chain-of-Table所需生成样本数少于其他强基线方法，比Binder少50%，比Dater少75%。

五、总结与思考

    1. Chain-of-Table将Chain-of-Thought概念扩展到表格环境，通过表格演化存储中间推理结果，在无需额外训练的情况下显著提升了LLM的表格理解能力。

    2. 动态规划操作链的方法比固定分解程序更灵活，能够自适应不同输入表格和问题。对比现有的基线方法，不仅在大表格上表现更好，且计算效率更高。
    3.为大模型标签提取的表格标签处理部分提供了一个可行的思路，可以在大模型生成算法后结合Chain-of-Table和Chain-of-Thought完成问题解决。