DP

DepthPilot AI

System-Level Learning

Assessment

Routing Policy 审计:让系统学会什么时候不该答

这节审计课要求你把一个真实 workflow 的任务分类、模型路径、unsupported-answer 行为和 fallback 顺序写成显式政策。DepthPilot 要的不是一句“这个模型更强”,而是能说清什么请求该走哪条链、何时该拒答、何时该升级给人,以及这些决定如何被复查。

最后要交什么

一份 model-routing matrix、一份 unsupported-answer policy,以及一份 fallback ladder。

真正的通过标准

不是系统大多数时候能答,而是它在该澄清、该检索、该拒答、该升级时真的会走正确路径。

我们的增值部分

这页把 routing、abstention 和 downgrade 变成了可执行 policy,而不是停留在“尽量别幻觉”的空话。

Routing matrix

先按任务价值、风险和证据需求分类,而不是按 provider 喜好分类。

为每类任务定义 latency/cost 预算,避免所有请求都走最强最贵路径。

明确哪些任务绝不能 auto-answer。

让 routing 规则可被第二个人复查,而不是只存在于操作者脑中。

Unsupported-answer policy

把 clarify、retrieve、abstain、escalate 当成合法结果,而不是失败。

定义证据不足、证据过时、权限不足和高风险动作时的处理方式。

写清给用户看的语言,避免系统用模糊措辞掩盖 unsupported answer。

把 refusal 视为质量机制,而不是产品丢脸。

Fallback ladder

定义 primary route 失败后该先检索、先澄清还是直接降级。

区分 downgrade 和 abstain:前者是较弱但仍可交付的路径,后者是不该继续答。

明确 hard stop 和 human escalation owner。

让 fallback 成为显式梯子,而不是临场拍脑袋。

上线前必须保留的证据

一份把任务类别、风险、证据需求和预算写清楚的 routing matrix。

一份 unsupported-answer policy,明确什么时候澄清、检索、拒答和升级处理。

一份 fallback ladder,说明 primary route 失败后如何有序退让而不是乱跳。

一段复盘:你现在这条 workflow 最危险的是过度回答、过度花钱,还是 fallback 混乱。

Search Cluster

把模型路由与拒答政策接进可搜索的可靠性路径

高意图用户常常先从 model routing、LLM limitations 或 eval checklist 进来,再决定是否认真设计 unsupported-answer policy。

参考附录

这些来源负责锚定方法。真正的课程主体是上面的 routing matrix、unsupported-answer policy、fallback ladder 和模板交付。

Routing Policy 审计:模型选择、拒答和 Fallback Ladder | DepthPilot AI