security-review Skill 评审报告¶

评估框架: skill-creator 评估日期: 2026-03-12 评估对象: security-review

security-review 是一个以 exploitability-first 为核心的安全审查 skill，用于评估代码变更中的认证、输入、密钥、API、数据流、依赖和资源生命周期等风险，重点输出可复现、可落地的安全发现。它最突出的三个亮点是：先做审查深度选择和多域门禁覆盖，让不同风险级别的变更获得匹配的检查强度；每条发现都强调证据、置信度和 CWE/OWASP 映射，更适合审计和后续治理；同时具备系统化的误报抑制和未覆盖风险记录机制，能把“真正的漏洞”与“暂不成 finding 的疑点”分开表达。

一、评估概览¶

本次评估从实际任务表现和 Token 效费比两个维度对 security-review skill 进行全面评审。设计 3 个递进复杂度的安全审查场景（Web Handler 审查、OpenAI API 客户端审查、无安全风险的纯函数审查），每个场景分别运行 with-skill 和 without-skill 配置，共 3 场景 × 2 配置 = 6 次独立 subagent 运行，对照 40 条 assertion 进行评分。

二、测试方法¶

2.1 场景设计¶

2.2 执行方式¶

• With-skill 运行先读取 SKILL.md 及其引用的 Go 安全编码参考和场景清单
• Without-skill 运行不读取任何 skill，按模型默认安全审查能力执行
• 所有运行在独立 subagent 中执行

三、Assertion 通过率¶

3.1 总览¶

3.2 Without-Skill 失败的 20 条 Assertion 归类¶

3.3 按 Assertion 类别的通过率对比¶

关键发现: Skill 的核心价值在于结构性合规和标准映射——这两个类别 without-skill 的通过率为 0%。安全分析质量（找到真实漏洞的能力）差异仅 7.7%，说明基础模型本身已具备较强的安全审查能力，Skill 的增量价值在于流程纪律而非发现能力。

四、逐维度对比分析¶

4.1 Review Depth 选择（Skill 独有能力）¶

这是Skill 最显著的差异化产出。

实际价值: Review Depth 决定了审查的成本-收益比： - Lite 模式跳过 Gate B/C/E，节省约 40% 审查时间 - Standard/Deep 的区分确保安全敏感代码得到充分审查 - Without-skill 对所有场景施加相同的审查深度，导致简单代码过度审查、复杂代码可能不充分

4.2 False-Positive 抑制质量¶

这是 Skill 的最大质量差异。

分析: Without-skill 的 CSRF 发现（Eval 1 Finding #1）将 成本消耗（rate limit exhaustion） 与 CSRF 混为一谈。With-skill 正确地将根因定位为 rate limiting 缺失（SEC-001 P2），而非 CSRF——因为 /convert 是无状态操作，没有 session/cookie/state mutation。This demonstrates the skill's suppression discipline: it prevents inflated severity by separating root cause from delivery mechanism.

4.3 输出结构对比¶

4.4 安全发现质量对比¶

尽管结构差异巨大，两个配置在核心安全发现上有显著重叠：

Without-skill 独有发现: - CSRF on /convert (HIGH) — 但属于 root-cause misattribution - URL scheme enforcement in parser (MEDIUM) — valid defense-in-depth - Unbounded pagination (MEDIUM) — valid, with-skill 在 Gate F 中提及 - Token via CLI flag (LOW) — valid but out of changed scope - appendThreadText recursion (LOW) — with-skill correctly suppresses

With-skill 独有发现: - 无核心发现是 with-skill 独有的（说明基础模型发现能力强） - 但 with-skill 对每个发现的 severity 校准更精准（如 SSRF DNS rebinding 正确标为 P3 suspected 而非 HIGH）

4.5 Eval 3 (Benign Code) — Lite 审查质量¶

这是 Skill 最显著的效率优势场景。

分析: Without-skill 的 46 行输出正确得出了 "无安全漏洞" 结论，但缺乏审计可追溯性。With-skill 的 227 行输出提供了完整的审计记录：为什么选择 Lite、为什么每个域是 N/A、跳过了哪些检查及原因。在合规场景下（如 SOC 2 审计），这种可追溯性是必需的。

五、Token 效费比分析¶

5.1 Skill 体积¶

典型加载场景:

5.2 Token 换取的质量提升¶

5.3 Token 分段效费比¶

将 SKILL.md 内容按功能模块拆分：

5.4 高杠杆 vs 低杠杆指令¶

高杠杆（~1,710 tokens SKILL.md → 直接贡献 18 条 assertion 差值）: - Review Depth Selection（250 tok → 3 条） - Evidence Confidence（100 tok → 3 条） - Suppression Rules（180 tok → 2 条） - Output Contract（500 tok → 3 条） - Gate D 10-Domain（400 tok → 3 条） - Gate F 未覆盖风险（80 tok → 3 条） - Standards Mapping（50 tok → 3 条） - Gate A 配对（150 tok → 1 条）

中杠杆（~1,100 tokens → 间接贡献质量提升）: - Anti-Examples（350 tok）— 防止误报 - Scenario Checklists 指针（200 tok）— 系统性 - Severity Model + SLA（200 tok）— 严重性校准 - Focused Automation Gate（350 tok）— 工具执行纪律

低杠杆（~250 tokens → 当前评估无贡献）: - Baseline Diff Mode（100 tok）— 未测试 - Language Extension Hooks（150 tok）— 仅测 Go

参考资料（~5,800 tokens → 间接贡献审查深度）: - go-secure-coding.md（4,600 tok）— Gate B/D 深度支持 - scenario-checklists.md（1,200 tok）— 场景系统性

5.5 Token 效率评级¶

5.6 与其他 Skill 的效费比对比¶

分析: security-review 的 SKILL.md 效费比（76 tok/1%）在所有评估的 skill 中属于中等偏下，但其 绝对通过率提升（+50.0%）是最高的，意味着 skill 解决的问题更根本——基础模型在安全审查的结构化合规方面有巨大缺口（without-skill 结构性合规通过率为 0%），而 skill 完全填补了这一缺口。

参考资料占比较高（~60%）但 Go 安全编码参考是 Gate B/D 的必需依赖，无法简化。如果引入选择性加载（Lite 跳过 go-secure-coding.md），可将 Lite 场景的 token 开销从 ~9,600 降至 ~5,000。

六、与 Claude 基础模型能力的边界分析¶

6.1 基础模型已具备的能力（Skill 无增量）¶

6.2 基础模型的能力缺口（Skill 填补）¶

七、综合评分¶

7.1 分维度评分¶

7.2 加权总分¶

八、评估材料¶