Week 5:测试设计与执行
本周实现测试模块。测试 Agent 阅读代码后宣布“实现正确”不构成测试;系统必须生成并执行测试,并用可复查的 Oracle 判断行为是否满足 Requirement IR 和接口契约。
- 从需求验收标准和设计契约生成 Test Plan;
- 覆盖正常流程、边界条件、无效输入和关键业务规则;
- 选择并生成适当的单元、集成、API 或端到端测试;
- 准备可重复的测试数据与环境;
- 真实执行测试并保存命令、退出码、断言和失败证据;
- 将失败映射回需求、接口或组件,输出结构化结果;
- 区分“测试失败”“测试自身错误”“环境无法运行”和“尚未覆盖”。
开发与测试是否由不同 Agent 完成由小组决定。你们需要解释如何降低两者共享同一错误理解的风险。
- 测试规划与执行模块;
- 机器可读 Test Plan 和 Test Result;
- 自动生成的可执行测试及数据准备;
- 需求—测试追踪关系;
- 对正确参考仓库和若干缺陷变体的运行记录。
教学组提供一个满足规约的参考仓库和若干植入已知缺陷的变体。测试模块应当:
- 不对正确实现产生大量误报;
- 能发现一定比例的真实功能和边界缺陷;
- 为失败给出可复现输入与有效断言;
- 证明测试确实执行,而不是根据文件名或模型判断生成结果;
- 在实现与测试具有共同误解时,仍保留教学组独立测试发现差异的空间。
评分关注测试的缺陷发现能力和判定质量,不按测试文件数量或覆盖率单一指标排名。