14 - 思维链(CoT):可审计的分步决策

难度:高级 时长:~30 分钟 关键概念:Chain of Thought、推理轨迹、可解释性

思维链:退货决策

创意:客户发起退货请求。与其让模型直接跳到"批准/拒绝",它必须像客服人员为上级记录案例一样,写出一条显式的推理链。

可视化链

示例 14 展示的内容

  1. 事实(Facts):仅提取数据,不做早期判断。
  2. 危险信号(Red Flags):逐个检查点执行显式的欺诈筛查。
  3. 合理性(Legitimacy):构建客户方的案例作为平衡力量。
  4. 策略检查(Policy Check):在决策前应用规则(时间窗口、金额、历史)。
  5. 决策(Decision):仅在所有先前阶段完成后做出决策。

这种结构使决策可审计、可调试。

为什么这在边界案例中很重要

如果没有思维链,边界案例往往会变成猜测。

例如:欺诈分数 6/10,合理性分数 7/10。直接的一次性分类器可能会因提示措辞的不同而随机翻转结果。使用思维链,你可以检查每个阶段,找出薄弱环节,并修复链条。

五个思维链阶段及其作用

阶段存在的原因
事实通过将提取与评估分离来防止早期偏见
危险信号强制覆盖显式的欺诈风险检查清单
合理性维护客户公平性,避免片面怀疑
策略检查用业务规则约束模型行为
决策产生可追溯的、有明确理由的结果

核心要点

思维链不仅仅是提高答案质量。它改善的是治理能力

  • 主管可以审计案例被批准/拒绝的原因
  • 团队可以发现推理漂移发生的位置
  • 策略变更可以通过更新一个阶段来反映,而无需重写整个提示词

推理模型与非推理模型的思维链

一个常见的困惑:"如果推理模型已经在内部进行推理,我还需要显式的思维链吗?"

答案是肯定的,但思维链的角色发生了变化。

心智模型

📤

非推理 LLM

提示 → 答案。除非你构建中间推理,否则不存在中间推理。思维链脚手架创建了原本不存在的推理。

🧠

推理 LLM

提示 → 隐藏链 → 答案。模型已经产生内部推理 token。思维链脚手架将该推理引导到固定的、可检查的形式中。

为什么显式思维链对非推理模型至关重要

  • 没有脚手架,边界案例会退化为抛硬币行为
  • 模型没有"地方"进行推理,因此它选择一个答案形式然后反向填充理由
  • 5 个阶段中的每一个都强制覆盖模型原本会跳过的内容

为什么显式思维链对推理模型仍然有价值

  • 隐藏的内部推理是不可审计的
  • 内部推理不会遵循你的分类体系
  • 你无法修复你看不到的步骤
  • 内部推理在不同运行之间存在差异

实践建议

  • 推理模型 + 轻量思维链:保留 5 个阶段,缩短阶段提示,让模型在每次调用内部进行推理
  • 非推理模型 + 重量思维链:保留 5 个阶段,用检查清单和示例扩展阶段提示
  • 混合模型:按阶段选择思考模式

反模式

  • 在提示中告诉推理模型"一步一步思考" — 多余的 token 消耗
  • 对边界案例使用非推理模型而不使用思维链 — 不安全
  • 将推理模型的原始推理追踪作为审计证据 — 不符合策略要求
  • 跨模型类别比较 confidence 值 — 校准差异很大

结论

思维链不是推理模型的替代品,推理模型也不是思维链的替代品。它们解决不同的问题:

互补关系 推理模型 → 提高原始答案质量
思维链 → 将任何发生的推理转化为可治理的工作流

对于高影响决策,你通常两者都需要。

在实际工作中何时使用思维链

当决策影响重大且需要可审查性时,使用思维链。

系统管理员的心智模型

一个部署请求看起来有风险,但并非明显错误。

  • 事实:当前负载、近期事故、回滚就绪情况。
  • 风险标志:缺失的运维手册步骤、权限升级、时序风险。
  • 合理性:业务紧迫性、维护窗口、缓解控制措施。
  • 策略:变更管理规则和审批关口。
  • 决策:批准、拒绝、或升级为人工审查。

为什么适合:运维决策需要审计追踪,而非直觉。

开发者的心智模型

一个有争议的拉取请求可能引入回归。

  • 事实:变更的模块、测试结果、性能差异。
  • 风险标志:缺少迁移计划、脆弱的依赖、薄弱的覆盖率。
  • 合理性:用户影响、Bug 严重程度、发布紧迫性。
  • 策略:审查要求、分支保护、发布标准。
  • 决策:合并、阻止、或要求额外检查。

为什么适合:当理由是结构化且可检查的时,代码审查质量会提高。

AI 智能体创建者的心智模型

一个自主支持智能体必须安全地做出退款决策。

  • 事实:订单时间线、账户历史、提供的证据。
  • 风险标志:滥用模式和身份不一致。
  • 合理性:合理的缺陷指标和客户上下文。
  • 策略:来自业务规则的硬性约束。
  • 决策:带有置信度和备注的确定性工作流输出。

为什么适合:它提供透明的推理追踪,更易于监控和纠正。