[Luo-root]

这份 PR 改了什么

两件事，都是评测资产，不改 skill 本体的执行行为：

1. evals/rubric.md 重写为「正文 + 打分细则（歧义点定死版）」八节。
2. evals/baseline.md 追加 v4 轮基线（首轮 12 条口径的记录原样保留，不覆盖）。

base 是 fix/consistency-and-lint（#21），不是 main —— 这份 PR 排在 #21 之后合并。

---

一、rubric.md 为什么重写

上一轮的判分细则有六个地方每轮都会吵，吵完就靠临场决定，分数没法复算。实测中真正吵起来的是这些：

原来的写法	问题
命中「只在证据里点到记 0.5」	同一个缺陷，是独立成条还是塞在别的条目的证据里，分数差 0.5，而且每轮判得不一样
归类「逐条计，取平均」	没写分母。第三方按 25 条 GT 复算，和按报告实际交付的条目数复算，百分比差一截
G12 怎么判拍板	只写了「直接报成 P0/P1 算误判」，没写「在别的拍板项里顺带提到」算不算
G13 的「谈没谈业务前提」	判据是「该不该有退款窗口 / 窗口归谁裁决」——但 B、C 两轮问的是「24 小时是不是统一口径」，算不算谈业务前提？没人定过
证据强度「一条目的级别」	没写「这条目的探针能不能算在别条目头上用」
表达质量的「最小对照例子」	到底要能复现的输入输出，还是要并置对照？只有场景描述算不算？

新细则把这六处定死了，并且把同一个判例的两种读法各记一次（例如「明确否认 vs 完全没涉及」三种情形的判法），避免下一个读的人重新吵一遍。

---

二、v4 轮基线

运行条件

项	值
冻结提交	7c1c4ea —— 三轮全程没改过任何 skill 文件
样本	evals/fixtures/tiny-shop 逐字节复制到仓外，README 中性化
隔离	只禁仓库 evals/ 目录；skill 路径显式指向装线目录
原始输出	仓外 scratchpads\dcr-eval-archive\round-{A,B,C}-v4.md，不入版本控制
输出指纹	A BA1FFA73…C691B4 / B A13EA522…F48912 / C 3037B600…238DC

分数

维度	A（快模式·合并判定）	B（全量·按七维审）	C（全量·模块体检）
命中	15.5 / 25（62.0%）	13.0 / 25（52.0%）	19.5 / 25（78.0%）
误报	0 条	0 条	0 条
归类合计 / 已报条目数	10.5 / 14（75.0%）	8.0 / 15（53.3%）	12.0 / 15（80.0%）
证据强度均值	4.93（69/14）	4.73（71/15）	4.20（63/15）
表达质量	14.1 / 14.5	15.1 / 15.5	15.1 / 15.5
raw	163.4	154.4	151.6

三个值得看的点

• C 轮命中最高，raw 反而最低。 差距不在「看漏了什么」，在证据——C 的证据均值 4.20，A 是 4.93。C 靠读完读懂拿命中，A 靠跑探针拿证据。想提分，方向是让全量轮也去跑探针。
• 误报三轮全 0。 包名那条三处都守住了边界：要么排除，要么进拍板并明写「不进必须修」。
• 「文档维度整体失灵」是错的说法。 三轮报的文档类问题都落在 G3/G11/G14 上，说明模型能发现「文档与实现不一致」。真正系统性漏掉的是两种更窄的形态：位置指代型（G19）和承诺无对应对象型（G4）。

首轮票面三条断言的复核结果

断言	结论
① 硬编码维度：B、C 结论一致，且能区分「协议固定值 100 不算」	部分成立 —— B、C 结论一致 ✔，但只有 B 明确区分了，C 全文没提 100
② 包名/目录名不进「必须修/建议修」	成立
③ 真正的文档缺陷仍报得出来	不成立 —— GT 点名的 G4/G19 三轮都没报出来

断言③已按实测改写，正文里给了可直接替换的表述。

---

三、口径分歧怎么处理的

判分细则里那 6 处分歧不是事实分歧，是规则宽窄的选择。本 PR 采用其中一套算出了基线，同时把六处的另一种读法和对应数字影响列成了表（baseline.md「口径待裁定」一节），这样基线可以被挑战、被复算，而不是「就是这么算的」。

另外，这一轮的分数由一个独立子 Agent 按同一份细则复算过一次（不参考本文件）。复算方在第 2、3、4 条上取了窄档，得 raw 162.3 / 153.4 / 151.1，与本基线相差 ≤ 1.7 分，结论方向完全一致。

---

四、为什么不改 skill 本体

评测发现的能力边界（G4 承诺无对应对象、G19 位置指代、G22 状态持久性、G23 零使用字段等）要改 references/dimensions.md 的成立条件，这会触发重跑评测，且属于新增能力而不是修复。所以它们不进 v1.1.0，单独开 v1.2.0 的票跟踪。

v1.1.0 的发版口径与状态见 #20。

---

评审时值得看哪里

• evals/rubric.md 的「打分细则」八节 —— 判分口径的唯一依据
• evals/baseline.md 的「口径待裁定：6 处分歧与数字影响」 —— 最可能有争议的一段
• evals/baseline.md 的「首轮票面三条断言的复核结果」 —— 断言③改成了「不成立」