/%E6%BC%94%E5%8C%96/ Recent content in 演化 on 老张开工了 Hugo zh-cn Wed, 15 Jul 2026 00:00:00 +0000 /posts/2026/07/skill-testing/ Wed, 15 Jul 2026 00:00:00 +0000 /posts/2026/07/skill-testing/ Skill 写完不等于"做完"——它跟代码一样会被模型版本变化、用户工作流变化、新 harness 行为变化折腾。本章把 Skill 当成 software：有 unit test、有 regression、有 changelog，让它在 6 个月后还能用。 23.1 为什么 Skill 也需要测试 不要等你某天打开 OpenCode 发现某个 Skill 触发率从 70% 跌到 5%——Skill 的"准确度"会随模型版本而漂移，prompt 中某词语的 token 化变了，召回就崩。可追踪、可回归是关键。 23.2 三类测试 类型 名称 测试对象 1 Trigger test “在 X 输入下会被召回吗” 2 Behavior test “被召回后遵循 Skill 内的 flow 吗” 3 Regression test “上次行为跑得 OK，这次没变吗” 23.3 Trigger test：写 probe 集 Create tests/probes.toml： [[probe]] text = "给 lib/validators.py 加一个 is_alpha 函数" expect = "engaged" [[probe]] text = "为什么 Python 不需要类型?