最后要交什么
1 份 scoring rubric、1 份 grader spec、1 份 calibration sheet。
Assessment
Rubric Grading 实战：把“感觉不错”变成可复查评分
这节审计课要求你把一条真实 workflow 写成 scoring rubric、grader spec 和 calibration sheet。DepthPilot 要的不是一张漂亮分表，而是你真的能说清哪一维坏了、为什么坏、下一步先修哪一层。
真正的通过标准
不是“给了分”，而是第二个 reviewer 也能复用同一套逻辑，严重失败不会被平均分掩盖。
我们的增值部分
这页把 eval 从口味和印象，推进到可诊断、可排序、可回滚的质量机制。
DepthPilot Summary
这节课真正教你的，是把“感觉更好”变成可复查的质量判断
很多团队知道要做 eval，却仍然在用主观印象做决策。DepthPilot 在这里强调的是：先拆维度，再写锚点，再定义 hard fail 和 calibration。用户学完之后，应该能解释为什么一个系统得分下降，是 factuality、instruction following、citation 还是 escalation judgment 出了问题。
先拆出评分维度
- 没有维度，就只有整体好恶，没法定位问题。
- 每个维度都要有清晰锚点，不然不同 reviewer 的分数没有可比性。
- 真正有价值的 rubric，不会把严重错误平均掉。
再定义 grader 行为
- grader 要看什么证据、什么时候看 trace、什么时候 override，都要写清楚。
- 人审和自动 grader 应该基于同一套规则，而不是两套标准。
- 不确定情形如何判分，必须在 spec 里提前说明。
最后做 calibration
- 评分分歧不是噪音，而是 rubric 需要修正的信号。
- 没有 calibration 的分数，很难支撑上线、回滚和修复排序。
- 最终交付物不是一张表，而是一套可复用的质量判断机制。
Scoring rubric
- 先拆维度，再谈总分，不要一上来做总体印象打分。
- 为每个维度写清 0-3 分锚点，避免 reviewer 靠感觉理解。
- 定义哪些维度会触发 hard fail，而不是被平均掉。
- 让 rubric 对应到真实修复层，不是为了好看。
Grader spec
- 写清 grader 看什么证据、怎么判分、哪些情况必须引用 trace。
- 区分 final answer grading 与 trace grading。
- 让 grader spec 适用于人审和自动 grader。
- 把“不知道时怎么判”写成规则，而不是让 grader 自由发挥。
Calibration sheet
- 保留 reviewer 之间的分歧，而不是只看最终平均分。
- 找出最容易分歧的维度，反过来优化 rubric 锚点。
- 把 calibration 当成质量治理，而不是一次性走流程。
- 让它直接服务上线、回滚和修复排序。
上线前必须保留的证据
一份 scoring rubric，写清维度、锚点和 hard-stop 规则。
一份 grader spec，定义评分输入、步骤和 override 条件。
一份 calibration sheet，记录评分分歧和修订意见。
一段复盘：你当前 workflow 最该先修的是 factuality、citation、instruction following，还是 escalation judgment。
可直接拿走的评分模板
下载 Scoring Rubric
定义维度、锚点和 hard-stop 条件。
下载 Scoring Rubric下载 Grader Spec
写清 grader 看什么、怎么判、何时 override。
下载 Grader Spec下载 Calibration Sheet
记录 reviewer 分歧并反过来优化 rubric。
下载 Calibration Sheet参考附录
这些来源负责锚定 rubric 和 grader 原理。真正的课程主体是上面的评分维度、规则和校准流程。
Search Cluster
把 Rubric 评分接进可搜索的 eval 路径
高意图用户常从 eval、observability 或 rubric 搜索进入，再意识到真正关键的是维度化评分和校准。
LLM Evaluation Rubric
LLM evaluation rubric，不是打分表花架子，而是修复顺序和上线判断
很多人在搜索 LLM evaluation rubric 时，只是想找一张模板。DepthPilot 更进一步：我们把 rubric 变成维度、锚点、hard-stop 和 grader 规则，帮助用户真正决定系统哪里坏了、先修哪里。
打开路径AI Eval Loop
AI Eval Loop，决定你是在优化系统还是在凭感觉试错
真正严肃的 AI 产品不会把‘感觉更好了’当成评估。搜 AI eval loop 的用户通常已经意识到，没有评估，前面的 prompt 和 workflow 都很难稳定增长。
打开路径LLM Observability Guide
LLM Observability 指南，不是多记日志，而是让失败真正可重放
很多人搜 LLM observability，是因为系统出了问题却不知道怎么查。DepthPilot 关心的不只是埋点，而是怎样记录 trace、标注失败、重放坏 case，让调试进入系统方法。
打开路径