java - 如何使单元测试始终通过？

Question

让我们假设某人必须编写一个问题的解决方案，而我必须通过一些测试来测试他的解决方案。他的程序是否有可能(也许通过反射(reflection)或其他方式)通过我的所有测试，但与问题的真正解决方案毫无共同之处？

Answer 1

一般情况

在一般情况下，不会。由于他们甚至不知道您正确实现了测试，因此他们所做的任何事情(甚至没有正确实现家庭作业)都不能保证通过测试。

特殊情况

如果学生可以运行您的测试，他们可以使用学习算法。

如果学生可以访问您的测试源代码，他们可以寻找技巧，例如使用反射来获得存储在变量中的预期结果。如果他们找不到任何源代码技巧，他们仍然可以编译并运行您的测试。

如果学生可以访问您测试的字节码，他们可能可以反汇编它并使用源代码技巧。即使您有效地混淆了它，他们仍然可以运行它。

如果学生知道您正在针对其他学生代码测试学生代码，他们所要做的就是保持一致。

建议

1. 不要向学生提供测试。他们应该独立测试他们的家庭作业。在他们将作业提交给您进行正式评估后，进行测试。
2. 使用随机化使您的测试更加稳健。
3. 如果您的测试将学生代码与其他学生代码进行比较，那么您应该手动调查每一次失败。也许一个学生正确实现，而其他学生复制了一个不正确的实现。在这种情况下，多数规则会奖励无能者。
4. 您可以收集他们的测试并测试他们的测试。