跳转到内容

Week 5:测试设计与执行

本周实现测试模块。测试 Agent 阅读代码后宣布“实现正确”不构成测试;系统必须生成并执行测试,并用可复查的 Oracle 判断行为是否满足 Requirement IR 和接口契约。

  • 从需求验收标准和设计契约生成 Test Plan;
  • 覆盖正常流程、边界条件、无效输入和关键业务规则;
  • 选择并生成适当的单元、集成、API 或端到端测试;
  • 准备可重复的测试数据与环境;
  • 真实执行测试并保存命令、退出码、断言和失败证据;
  • 将失败映射回需求、接口或组件,输出结构化结果;
  • 区分“测试失败”“测试自身错误”“环境无法运行”和“尚未覆盖”。

开发与测试是否由不同 Agent 完成由小组决定。你们需要解释如何降低两者共享同一错误理解的风险。

  • 测试规划与执行模块;
  • 机器可读 Test Plan 和 Test Result;
  • 自动生成的可执行测试及数据准备;
  • 需求—测试追踪关系;
  • 对正确参考仓库和若干缺陷变体的运行记录。

教学组提供一个满足规约的参考仓库和若干植入已知缺陷的变体。测试模块应当:

  • 不对正确实现产生大量误报;
  • 能发现一定比例的真实功能和边界缺陷;
  • 为失败给出可复现输入与有效断言;
  • 证明测试确实执行,而不是根据文件名或模型判断生成结果;
  • 在实现与测试具有共同误解时,仍保留教学组独立测试发现差异的空间。

评分关注测试的缺陷发现能力和判定质量,不按测试文件数量或覆盖率单一指标排名。