python - 通过将输出文件与引用文件 : what's it called, 进行比较来测试完整程序，是否有相应的程序包？

Question

我有一个完全非交互式的 python 程序，它接受一些命令行选项和输入文件并生成输出文件。通过选择简单案例并手动编写输入和预期输出文件，然后在输入文件上运行程序并将输出文件与预期文件进行比较，可以相当容易地对其进行测试。

1) 这种测试的名称是什么？

2) 是否有 python 包可以进行此类测试？以最基本的形式手动设置并不难，我已经做到了。但是后来我遇到了这样的情况，比如包含日期和其他可以在运行之间合法更改的信息的输出文件——我考虑写一些东西，让我指定引用文件的哪些部分应该被允许不同，并且仍然可以通过测试，并意识到我可能正在进入“重新发明轮子”的领域。(在上次发生这种情况之前我重写了单元测试功能的很大一部分......)

Answer 1

我猜你指的是 system testing 的一种形式.

没有包会知道哪些部分可以合法更改。我的建议是模拟导致更改的代码部分，以便您可以确保输出始终相同 - 您可以使用像 Mock 这样的工具。为了那个原因。比较两个文件非常简单，只需将每个文件转储到一个字符串并比较字符串即可。