testing - 黑盒回归测试的测试框架

Question

我正在寻找一种工具来对我们正在构建的一套设备进行回归测试。

当前的概念是您为工具创建一个输入文件 (text/csv)，指定被测系统的输入。然后，该工具会捕获系统的输出并将输入和输出记录到输出文件中。

输出与原始输入文件的格式相同，可用作工具后续运行的输入，测量输出与上一次运行的值相匹配。

两次运行的结果不会完全匹配，存在一些时间差异，这取决于电池的状态，或者取决于设备的其他内部状态。

我们必须编写自己的接口(interface)来将命令从工具传递到设备并捕获设备的输出。

这是一个相对简单的任务，但我正在寻找现有的工具/包/库以避免重新发明轮子/从中吸取教训。

Answer 1

我最近在 git ( http://git.or.cz/ ) 之上构建了一个这样的系统。基本上，编写一个程序获取所有输入文件，将它们发送到服务器，读回输出，并将其写入一组输出文件。第一次运行后，将输出文件提交到 git。

对于以后的运行，您的成功取决于运行完成后 git 存储库是否干净:

test 0 == $(git diff data/output/ | wc -l)

作为奖励，您可以使用所有 git 工具来比较差异，如果发现差异是一种改进，则提交它们，这样以后的运行就会通过。在分支之间合并时，它也很有效。