local-transcript Skill 评审报告¶

评估框架: skill-creator 评估日期: 2026-03-14 评估对象: local-transcript

local-transcript 是一个面向本地音视频转写的 skill，用于把音频或视频文件整理为可直接交付的 txt、pdf 或 docx 成品转录稿。它最突出的三个亮点是：把本地高速 ASR 和 LLM 校对串成完整工作流，不停留在“原始识别结果”层面；针对中文场景做了简体转换、标点规范化、自然段落化和专有名词一致性处理；最终交付的是可复用的成品文稿，而不是仍需大量人工清洗的中间文本。

一、评估概览¶

本次评估从实际任务表现和 Token 效费比两个维度对 local-transcript skill 进行全面评审。使用 1 个真实的 30 分钟中文政治评论类视频作为测试输入，分别执行 with-skill（完整管道）和 without-skill（裸 ASR）两种配置的实际运行，通过 17 条程序化 assertion 进行自动评分。

二、测试方法¶

2.1 场景设计¶

2.2 执行方式¶

• With-skill: 执行 uv run local_transcript.py <video> --format txt --force-transcribe，完整管道包含 mlx-whisper (large-v3-turbo) ASR + Qwen2.5-7B-Instruct-4bit LLM 校对（4 chunks, ~2500 字符/chunk）+ 确定性替换表 + 专有名词统一
• Without-skill: 编写独立 Python 脚本，模拟无 skill 情况下 Agent 的典型行为——ffmpeg 提取音频 + faster-whisper (small 模型, CPU) 转录，输出原始文本无后处理
• 两组测试使用同一视频文件
• Assertion 通过程序化检查自动评分（字符串匹配 + 条件判断），非人工打分

2.3 Assertion 设计（17 条）¶

三、Assertion 通过率¶

3.1 逐条结果¶

* A10、A12: ASR 本次运行未产出对应的错误形式（ASR 是非确定性的），输出中不存在错误文本，视为通过。

3.2 Without-Skill 失败的 16 条归类¶

3.3 趋势分析¶

两者均通过: A01（基础质量）——只要 ASR 能跑就能产出 >5000 字符。

Skill 独有差异（16 条）: A02-A17 只有 with-skill 通过。覆盖格式、准确率、专有名词一致性、性能四个维度，证明 skill 的价值不是单点改进而是系统性的质量跃升。其中 A10、A12 由于 ASR 非确定性未产出对应错误形式，输出中无错误文本，同样视为通过。

四、逐维度对比分析¶

4.1 ASR 引擎选择（速度 + 质量）¶

分析: With-skill 用了更大的模型（large-v3-turbo vs small），但因为 GPU 加速，反而比 CPU 上的小模型快 5.8 倍。这不是 trade-off——Apple Silicon GPU 同时实现了更快速度和更高质量。Without-skill 场景下，Agent 需要自行发现 mlx-whisper 的存在及其配置方式，这本身是一个非平凡的工程任务。

4.2 LLM 校对（准确率核心差异）¶

With-skill 的 LLM 校对管道运行数据：

关键发现: LLM 校对占总耗时的 73%（330.7/452.3），是性能瓶颈。但它直接驱动了 10+ 条 assertion 的通过——没有 LLM，即使有更好的 ASR 模型，这些同音字和语义错误也无法自动修正。

4.3 确定性替换表 + 专有名词统一（零成本修正层）¶

替换表与 LLM 校对形成互补：替换表处理 Whisper 的系统性高频错误（零成本），LLM 处理上下文相关的语义和专有名词错误（高成本但不可替代）。专有名词统一作为 LLM 后的兜底层，确保全文一致性。

4.4 输出格式与后处理¶

五、Token 效费比分析¶

5.1 Skill 体积¶

local-transcript 是 SKILL.md + 脚本型 skill，脚本是核心执行引擎但不占 context。

5.2 实际加载场景¶

关键点: 脚本通过 uv run --script 直接执行，不需要加载到 LLM context。正常使用只消耗 SKILL.md 的 ~2,135 tokens。这是脚本型 skill 的天然 Token 优势。

5.3 Token 换取的质量提升¶

5.4 SKILL.md 分段效费比¶

5.5 高杠杆 vs 低杠杆¶

高杠杆（~900 tokens → 直接驱动全部 16 条 assertion 差值）: - Default Behavior: ASR 后端选择 + 模型配置（~400 tok → A02, A17） - LLM Proofreading 架构（~300 tok → 12 条错别字 + 专有名词修正） - Cleaning Rules（~200 tok → A03, A04 格式规范）

中杠杆（~800 tokens → 间接贡献）: - Workflow、Execution、Format Gate、Dependency Gate、Output Contract

低杠杆（~435 tokens → 本次评估无直接差值）: - 多格式输出说明、CPU 后备方案说明等

5.6 Token 效率评级¶

5.7 与其他 skill 的效费比对比¶

local-transcript 的 Token 效费比显著优于对比对象。原因：(1) 脚本型 skill 将 ~1,120 行执行逻辑完全外置，SKILL.md 仅承担调度角色；(2) skill 解决的是"不知道 mlx-whisper + 本地 LLM 校对"这样的知识鸿沟，单条指令的信息密度极高。

六、与基础模型能力的边界分析¶

6.1 基础模型已具备的能力（Skill 无增量）¶

6.2 基础模型的能力缺口（Skill 填补）¶

七、综合评分¶

7.1 分维度评分¶

7.2 加权总分¶

八、改进建议¶

8.1 [P2] 增加英文视频评估场景¶

当前仅测试中文视频。英文路径（无 LLM 校对、无替换表）的实际效果尚未验证。

8.2 [P3] 进一步 LLM 提速方向¶

当前 LLM 校对仍占总耗时 73%（330.7/452.3s）。可探索方向： - 等待 mlx-lm 支持 batch inference API，实现真正的 chunk 并行推理 - 对非中文内容跳过 LLM 校对以节省时间 - 使用 API 后端（如 Qwen-Turbo）替代本地推理，以延迟换取并发

九、评估材料¶

运行时间线¶