Skip to content

docs(evals): 记录首轮 A/B/C 评测基线与口径缺陷 - #18

Open
Luo-root wants to merge 1 commit into
mainfrom
docs/eval-baseline
Open

Luo-root wants to merge 1 commit into
mainfrom
docs/eval-baseline

Conversation

@Luo-root

Copy link
Copy Markdown
Owner

这份 PR 做了什么

加一份评测基线:evals/baseline.md。v1.0.0 之后改 skill 时,要能看出「是变好还是变坏」——这份文件就是那个对照点。

它记录了首次跑通 evals/runbook.md 三种问法的完整结果。

结论摘要

维度 A(快模式) B(按七维审) C(模块体检)
命中 6.5 / 12(54%) 8.5 / 12(71%) 9.5 / 12(79%)
误报 0 条 1 条(−1) 1 条(−1)
归类(按已报条目) 66.7% 68.8% 68.8%
证据强度均值 2.8 / 5 3.3 / 5 3.3 / 5
表达质量 6.6 / 12 8.2 / 12 8.6 / 12
  • 档位分流全部正确:问「能不能合」的那轮输出紧凑列表 + 一句结论,没套六段骨架;另两轮输出完整七维覆盖表 + 拍板项 + 已查过没问题。
  • 差距在命中覆盖,不在判级能力:归类质量三轮接近,快模式少的是设计面条目,符合它「只报本次引入、能落到触发路径」的定位。
  • 三轮共同漏掉的只有 2 条,而这两条恰好是标准答案本身站不住的那两条——漏报不是本 skill 的系统性短板。

顺带暴露的问题(已分别开票,本 PR 不改)

另外基线里记了 13 条标准答案漏掉的真缺陷(三路合计发现,全部可复核)——当前 12 分制只覆盖样本真实缺陷的一部分,所以基线偏乐观。

口径说明

验证

  • node tools/lint-skill.mjs . 通过。
  • 本 PR 只新增一个 Markdown 文件,不改 skill 执行文件,不影响 CI 的 lint 检查。

关联 #14。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant