create-pr Skill 评估报告¶

评估框架: skill-creator 评估日期: 2026-03-11 评估对象: create-pr

create-pr 是一个面向主分支提 PR 的结构化交付 skill，用于在提交前完成分支卫生检查、质量验证、安全扫描和 PR 内容生成，目标是产出可审阅、可追溯、可安全合并的高质量 PR。它最突出的三个亮点是：以 8 个强制 Gate 串起完整 preflight 流程，避免未验证变更直接进入评审；通过 confirmed / likely / suspected 三档置信度模型决定 draft 或 ready 状态，降低误判风险；同时提供固定章节的 PR Body 模板，把测试证据、风险说明和未覆盖项表达得更完整、更一致。

1. Skill 概述¶

create-pr 是一个结构化的 PR 创建 skill，定义了 8 个强制 Gate（A-H）、3 级置信度模型、非协商规则、以及包含 8 个必需章节的 PR Body 模板。其目标是确保每个 PR 在推送前经过完整的预检、质量验证、安全扫描和提交规范检查。

核心组件:

2. 测试设计¶

2.1 场景定义¶

2.2 断言矩阵（34 项）¶

场景 1 — 干净功能特性 (13 项)

场景 2 — 糟糕的提交规范 (10 项)

场景 3 — 安全敏感变更 (11 项)

3. 通过率对比¶

3.1 总体通过率¶

通过率提升: +71 百分点（含 PARTIAL 时 +63pp）

3.2 按场景通过率¶

3.3 实质性维度（不依赖流程结构的核心能力）¶

为排除"流程断言偏差"，额外评估 12 项与流程无关的实质性检查：

实质性通过率: With-Skill 12/12 (100%) vs Without-Skill 7/12 (58%)，提升 +42pp。

4. 关键差异分析¶

4.1 With-Skill 独有的行为（Baseline 完全缺失）¶

4.2 Baseline 能做到但质量较低的行为¶

4.3 场景级关键发现¶

场景 1（干净功能）: - With-Skill: 全部 7 个 Gate 通过，confidence = confirmed，推荐 ready。运行了 gosec、govulncheck、golangci-lint 等完整工具链。 - Without-Skill: 仅运行 make test + go vet，无安全扫描。错误地推荐 draft（基于 YAGNI 考虑而非 Gate 失败）。

场景 2（糟糕提交）: - With-Skill: Gate B 警告分支命名，Gate D 检测 lint 失败（缺少 GoDoc），Gate G 检测非 CC 提交消息。confidence = suspected，推荐 draft。提供 6 步修复计划。 - Without-Skill: 识别了提交消息和 GoDoc 问题，但未检测分支命名问题，未运行 lint 工具，无结构化 Gate 判定。

场景 3（安全敏感）: - With-Skill: Gate E 通过 rg/gosec/golangci-lint 三重检测到 ghp_ Token，生成详细安全报告，包含 CWE 编号、严重级别、修复建议、Token 吊销步骤。明确阻止 push/create。 - Without-Skill: 通过代码审查发现 Token，正确标记为 CRITICAL，但无工具证据链，无 CWE 引用，修复建议不够具体。

5. Token 效费比分析¶

5.1 Skill 上下文 Token 成本¶

注：scripts/create_pr.py（1449 行，~10,000 tokens）仅在使用脚本模式时加载，不计入默认上下文。

5.2 效费比计算¶

5.3 与其他 Skill 效费比对比¶

create-pr 在 tokens/1% 指标上表现最优，主要因为其 通过率差异极大（+71pp）——Baseline 在 PR 创建场景中严重缺乏结构化流程，使得 skill 的边际价值极高。

5.4 Token 回报曲线分析¶

投入 Token 量与回报的映射关系:

~2,500 tokens (SKILL.md only):
  → 获得: Gate 流程、Non-Negotiables、Confidence 模型、Command Playbook
  → 预计覆盖: ~90% 的通过率提升

+400 tokens (pr-body-template.md):
  → 获得: 8 段式 PR Body 模板
  → 预计覆盖: +8% 的通过率提升（PR Body 结构断言）

+500 tokens (checklists):
  → 获得: 各阶段 Checklist
  → 预计覆盖: +2% 的通过率提升（边际价值较低）

SKILL.md 本身提供了约 90% 的价值，参考文件提供剩余 10%。

6. 综合评分¶

6.1 分维度评分¶

维度得分说明:

• Gate 执行完整度: With-Skill 在 3 个场景中均系统化运行 7 个 Gate，每个 Gate 附带精确命令和输出证据。Without-Skill 仅运行 make test（偶尔 go vet），无 auth 验证、分支命名检查、风险分类或安全扫描工具。
• PR Body 结构化质量: With-Skill 全部产出包含 8 个必需章节（Problem/Context、What Changed、Why、Risk/Rollback、Test Evidence、Security Notes、Breaking Changes、Reviewer Checklist）。Without-Skill 产出自由格式 Body，普遍缺少 Risk/Rollback、Security Notes、Breaking Changes 等关键章节。
• 安全扫描能力: With-Skill 使用 rg 正则 + gosec + govulncheck 三重交叉验证。在场景 3 中，三个工具独立检测到 ghp_ Token（含 CWE-798 编号）。Without-Skill 仅通过代码审查发现 Token，无工具证据链。
• Confidence/Draft 决策: With-Skill 3/3 场景决策正确（场景 1: confirmed→ready; 场景 2: suspected→draft; 场景 3: suspected→draft）。Without-Skill 场景 1 错误推荐 draft（基于 YAGNI 而非 Gate 结果），场景 2/3 推荐 draft（正确但缺乏形式化推理）。
• Commit 规范合规: With-Skill Gate G 精确验证 CC 格式、计算字符数、检查语气。在场景 2 中识别 3 项违规（缺少 type(scope):、过去时态、无结构化格式）。Without-Skill 场景 2 能识别问题但无字符计数和精确格式校验。
• 结构化输出报告: With-Skill 严格遵循 Output Contract（Gate 判定 → Uncovered Risk → PR 元数据 → Next Actions）。Without-Skill 无结构化输出，无 Gate 判定摘要表。

6.2 加权总分¶

6.3 与其他 Skill 综合评分对比¶

create-pr 获得三个 skill 中的 最高综合评分，主要因为：

1. 通过率差异极大（+71pp）：PR 创建是 Baseline 模型最薄弱的领域
2. 分维度评分无短板：6 个维度中 5 个获得满分，仅 Token 效费比因 ~30% 内容冗余未达满分
3. Token 效费比最优（~48 tok/1%）：尽管绝对 Token 量较大（~3,400），但因通过率差异极大，单位成本反而最低

失分点: Token 效费比维度（7.5/10）是唯一明显低于满分的项，主要原因： - Bundled Script 段落（~500 tokens）占 SKILL.md 14% 但无 agent 使用 - Merge Strategy Guidance（~200 tokens）在非 Squash 场景无价值 - Monorepo Support（~80 tokens）对单模块仓库无用

7. 结论¶

create-pr skill 是本次评估中 通过率差异最大 的 skill（+71pp），同时在 tokens/1% 指标上也最优（~48 tokens/1%）。这表明 PR 创建是一个 Baseline 模型 高度缺乏结构化能力 的领域，skill 的边际价值极高。

核心价值点: 1. 8-Gate 强制流程：确保安全扫描、lint、auth 等步骤不被跳过 2. Confidence 模型：将 draft/ready 决策从主观判断变为形式化推理 3. 多工具交叉验证：Gate E 的 rg + gosec + govulncheck 三重检测在场景 3 中表现突出 4. 8 段式 PR Body：标准化输出使 Reviewer 体验一致

主要风险: SKILL.md 中约 30% 的内容（脚本说明、Monorepo、合并策略）在典型场景中未被使用，可通过模块化精简进一步优化 token 效费比。