Skip to content

评测基线:首跑 A/B/C 三轮,记录分数与口径缺陷 #14

Closed

Description

@Luo-root

首次跑通 evals/runbook.md 的三种问法,记录评测基线。

要解决什么

v1.0.0 发版前需要一份可复核的基线:改 skill 之后能看出「是变好还是变坏」。目前仓库里有 ground-truth / rubric / runbook / 样本,唯独没有跑出来的分数。

产出

  • evals/baseline.md:三轮的逐条对照、评分、结论。

关键事实

  • 三轮分别走快模式 / 按七维审 / 模块体检,档位分流全部正确:快模式那轮输出紧凑列表 + 一句结论,没有套六段骨架。
  • 命中覆盖:快模式 54%、两轮全量 71% / 79%(v1 口径)。
  • 归类质量三轮接近(66.7% / 68.8% / 68.8%,按已报条目算)——差距主要在命中覆盖,不在判级能力。
  • 三轮共同漏掉的只有 G4、G8 两条,而这两条恰好是标准答案本身站不住的那两条(详见下节)——漏报不是 skill 的系统性短板。
  • 2/3 轮把「两个包都叫 package shop」报成了问题,这正是「不该报」清单里点名的口味问题,边界没守住。
  • 标准答案漏了 13 条真缺陷(三路合计发现,全部可复核),当前 12 分制只覆盖样本真实缺陷的一部分,基线偏乐观。

顺带暴露的标准答案缺陷(本 issue 只记录,不在本次改)

  1. G4 判定有误:源码那句承诺有限定语「read-only with respect to the order store」,写 c.Processed / c.Stats 不违反它(那是 Checkout 自己的字段,不是订单存储)。三轮里两轮明确判定该承诺成立并给了推理,是标准答案把「有副作用」等同于「违反 read-only 承诺」。
  2. G8 与 skill 自己的细则冲突:references/dimensions.md 第 5 维「算」条款说「会随版本变化」的要报,「不算」条款把「7 天」列为真不变量——退款窗口正是这种业务政策值。B、C 两轮都按「不算」条款判了「硬编码:无发现」,依据明确。是细则自相矛盾,不是模型做错。

这两条已单独开票处理(见关联 issue)。本 issue 的基线分数按**修前的标准答案(v1)**记录,baseline.md 里另附 v2 口径复算。

验收标准

  • evals/baseline.md 在仓库里,可复核:每个分数能追溯到 GT 条目与三轮原始输出。
  • 写明方法论局限(样本与标准答案同一人写、单轮无方差、快模式轮 GT 覆盖天然不全)。
  • 三轮原始输出留在仓外,不进版本控制。

Activity

  1. Luo-root commented on Oct 21, 2026

    @Luo-root
    OwnerAuthor

    补充:v1.1.0 发版基线(25 条口径的 v4 轮重跑)已落盘,PR #22(base: ix/consistency-and-lint)。

    本票的「首轮 12 条口径」记录在 evals/baseline.md 上半部分原样保留;v4 轮结果追加在下半部分,两轮分数不可直接比较(GT 条目数 12→25、归类分母、命中判据三样都变了)。

    v4 轮:命中 15.5 / 13.0 / 19.5,误报全 0,raw 163.4 / 154.4 / 151.6。原始输出留仓外,不入版本控制。

    票面状态与发版流程见 #20;评测暴露的 6 条能力边界已开 #23 跟踪。

  2. Luo-root commented on Oct 28, 2026

    @Luo-root
    OwnerAuthor

    已由已合并的 PR 解决:#18 记录首轮 A/B/C 基线与口径缺陷,#19 把 GT 扩到 25 条并修掉口径矛盾,#22 折进判分细则并记录 v4 轮基线。评分表在 evals/baseline.md,判分口径在 evals/rubric.md。
    关闭。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementdeep-code-review review finding

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions