mongo-migration 技能评估报告¶

评估框架: skill-creator A/B 实测对比法 评估日期: 2026-04-18 评估对象: skills/mongo-migration/（MongoDB 4.4–7.0+ 迁移安全审查技能）

MongoDB 迁移安全审查场景专业性较强，基础 Claude 模型在核心缺陷识别上表现出色，但在输出结构规范性与 Token 效率上存在可测量差距。A/B 测试设计了 3 个场景共 24 条断言，覆盖技能的三个核心工作模式。

1. Skill 概述¶

核心组件：

覆盖的 MongoDB 核心安全规范： - _id-range 分批更新（非无界 updateMany） - Write concern 显式设置（w:"majority"） - Validator 渐进模式（moderate → strict，非直接 strict） - 字段类型迁移新字段模式（amount_v2 + 双读 + 回填 + 清理） - 滚动索引构建（>50M docs）

2. 测试设计¶

2.1 场景定义¶

2.2 断言矩阵（24 项）¶

场景 1 — 索引安全 + Write Concern（9 项）

场景 1 小结：With-Skill 9/9，Without-Skill 8/9（失分于 §9.9 表格格式）

场景 2 — 大集合字段类型迁移（9 项）

场景 2 小结：With-Skill 9/9，Without-Skill 8/9（失分于 §9.9 表格格式）

场景 3 — 降级模式（无上下文）（6 项）

场景 3 小结：With-Skill 6/6，Without-Skill 5/6（失分于 §9.9 表格格式）

3. 通过率对比¶

3.1 总体断言通过率¶

Delta：+12.5 percentage points

3.2 按场景通过率¶

规律：3 个失分项全部来自同一根因——§9.9 Uncovered Risks 输出格式。无 Skill 组使用编号列表或散文段落；有 Skill 组使用规定的 4 列表格（Area | Reason | Impact | Follow-up）。这是技能输出合约（§9 Output Contract）对格式的强制约束，而非内容知识差异。

4. 关键差异分析¶

4.1 With-Skill 专有行为¶

4.2 核心知识对比¶

结论：MongoDB 迁移核心安全知识（WiredTiger、_id-range、validator 渐进）已深度训练进基础模型。技能的价值集中在结构强制性，而非知识传递。

4.3 S3 异常：有 Skill 组 Token 更多¶

场景 3（降级模式）出现反转：有 Skill 组（36,706 tokens，3 次工具调用）> 无 Skill 组（31,986 tokens，2 次工具调用）。

原因：SKILL.md §3 规定"未知集合规模 → 假设 Large → Deep depth → 加载两个参考文件"。有 Skill 组遵循此规则加载了 large-collection-migration.md 和 mongo-ddl-lock-matrix.md，产生额外输入 token 和工具调用。无 Skill 组保持在 Standard depth 水平，信息更精简。

影响：这是技能设计的保守性体现（宁可多加载也不漏判），但在完全无上下文场景下会增加成本。

5. Token 效费比分析¶

5.1 Skill 上下文 Token 成本¶

5.2 实际运行 Token 消耗¶

5.3 效费比计算¶

S1/S2 效费比最优：在有充足上下文时（版本、规模已知），有 Skill 节省近 50% Token，同时质量略优。Token 节省源于：结构化输出替代探索性推理（无 Skill 组先搜索再整合）、0 额外工具调用。

S3 负效比区间：当上下文严重缺失时，技能框架倾向于保守性深度触发（Deep + 加载所有参考），反而增加 Token 消耗。对比 pg-migration（S3 相同情况无此异常），说明 mongo-migration 的 Deep 触发条件在 Minimal 上下文下过于激进。这是一个可改进点（见 §7）。

6. 综合评分¶

6.1 分维度评分（5 分制）¶

6.2 加权总分（满分 10 分）¶

7. 核心发现与改进建议¶

发现 1：mongo-migration 基线接近 pg-migration，同为"强基线"技能¶

MongoDB 迁移安全规范（WiredTiger、_id-range、validator 渐进）已被广泛训练进基础模型，基线质量相当强。技能价值集中在格式强制性（§9.9 表格、AE 交叉参照）而非知识注入。

发现 2：§9.9 格式是最一致的差异化来源¶

在 3 个场景中，无 Skill 组在内容上和有 Skill 组高度重叠，唯一一致的失分来自 §9.9 输出格式。无 Skill 组使用的散文/编号列表： - 难以在 CI/CD 流水线中机器解析 - 缺少 Impact 和 Follow-up 维度，不利于团队后续追踪

有 Skill 组的 4 列表格直接可复制为 JIRA/Linear ticket 描述。

发现 3：S3（降级模式）技能过于激进地触发 Deep depth¶

SKILL.md 规定"未知集合规模 → 保守假设为 Large → Deep depth → 加载所有参考文件"，导致在 Minimal 上下文下产生 ~14.8% 额外 Token。改进建议：在 §3 Depth Selection 中增加一条规则：

若上下文为 Minimal（仅有脚本，无规模/版本信息），在触发 Deep depth 前先询问用户确认集合规模，或保持在 Degraded 模式下使用 Standard depth，避免在信息缺失时过度消耗。

发现 4：Token 效率在有上下文场景下显著优于无上下文¶

建议在迁移审查工作流中优先收集 MongoDB 版本和集合规模，再调用技能——这能最大化 Token 效率。

8. 结论¶

mongo-migration 技能评定：生产就绪，强烈推荐用于所有 MongoDB 迁移审查场景。

核心价值点： 1. 格式强制性：§9.9 Uncovered Risks 的 4 列表格格式让风险项可追踪、可机器解析，无 Skill 组 100% 不满足此格式 2. 评估框架一致性：Gate 分析、AE 交叉参照、Data basis 标注确保每次审查可重复、可比较 3. 有上下文时 Token 高效：S1/S2 节省 47% Token，来源于结构化输出替代探索性推理

改进建议： 1. §3 Depth Selection 增加 Minimal 上下文下避免 Deep 过度触发的规则 2. §9 Output Contract 增加 golang-migrate / mongomigrate 等框架的事务包裹行为说明（对应 pg-migration 的 golang-migrate 注意事项） 3. 考虑增加第 4 个测试场景覆盖 reshardCollection（shard key 迁移），这是 MongoDB 5.0+ 最复杂的运维操作