图 05 / PenguinHarness · SeeCode

出题、校准，再冻结基线

与源码架构版相同的已核验内容；点节点看完整解释，Path 看路径，◀ ▶ 逐步查看。

与源码架构版相同的已核验内容；点节点看完整解释，Path 看路径，◀ ▶ 逐步查看。试测不合适改题校准完成编写题目题干 + 评分标准校准难度Pilot：难度不合适就改题冻结基线固定 Benchmark + Formal Baseline图例组成模块Focal主要路径反馈回路
Builder 写题干和评分标准，Pilot 试测后调整难度；校准阶段允许改题。完成后冻结 Benchmark，并记录正式基线，随后才进入优化闭环。题干给被测 Agent，评分标准由 Evaluator 使用。此图沿用此前固定源码，不使用虚构测试分数。

Sources (4)
questions — packages/docs/content/self-improvement.zh.md:1 · 根据目标能力设计 Benchmark。题干给被测 Agent，评分标准由 Evaluator 使用。 固定源码：https://github.com/Prism-Shadow/penguin-harness/blob/0e20714609732d728c927e709e7c37327b013ab9/packages/docs/content/self-improvement.zh.md#L1
calibrate — packages/docs/content/self-improvement.zh.md:1 · Pilot 试测后调整题目，让评估真正区分能力缺口；校准阶段允许改题。 固定源码：https://github.com/Prism-Shadow/penguin-harness/blob/0e20714609732d728c927e709e7c37327b013ab9/packages/docs/content/self-improvement.zh.md#L1
freeze — packages/docs/content/self-improvement.zh.md:1 · 校准完成后冻结 Benchmark，留下完整 Formal Baseline，之后才能启动优化。 固定源码：https://github.com/Prism-Shadow/penguin-harness/blob/0e20714609732d728c927e709e7c37327b013ab9/packages/docs/content/self-improvement.zh.md#L1
scope — 版本与边界 · Builder 构建与校准 Benchmark；Optimizer 修改 Agent；Evaluator 负责复测。 基准冻结后不跟着候选改题；候选分数严格提高才保留，否则回滚。 改的是指令、Skill 或安全配置，不是模型权重；评分信息隔离靠 Skill 约定与 Trace 审计。 SeeCode 对比沿用上一版内容与固定提交；不是实际运行 Penguin。