testing - REST API 和 UI 的黑/灰盒测试

Question

我们正在选择在我们公司开始使用(切换)自动化验收测试的系统。目前大部分后端测试用例都是我们以前的测试人员用Python编写的，对于新测试人员来说很难使用和维护；对于 UI，我们使用 Robot framework .

我想使用一些标准，以便新的“街头典型测试人员”可以开始使用，但它应该非常灵活。

在我以前的工作中，测试人员使用 SoapUI 甚至 Apache JMeter 和 Groovy 脚本，但出于某种原因，我现在公司的人不喜欢它。

我们正在考虑Fitnesse或机器人框架。

要求:

• 它应该用于后端(REST API、一些数据库检查)和 UI 测试
• 它应该使用简单的语言，这样即使是非程序员/测试人员也能理解测试用例(产品负责人应该能够看到是否涵盖了所有验收标准)
• 它应该支持与 Jenkins 的集成
• 它应该支持测试用例的版本控制，以便对于特定的产品版本我们也可以检查相关的测试用例现在我们使用 TestRail(测试用例管理软件)；如果它与它集成(至少可以对其进行编程以便将测试结果发送到那里)或完全替换它，那就太好了

我很快就玩起了 Fitnesse，对我来说，表格形式看起来很丑陋。乍一看，文档也不是很好(我没有找到可能的“命令”，例如断言、一些循环)和文档，例如RestFixture 更糟(没有)。

此外，我没有看到任何用于数据库检查的固定装置。所以最后需要开发人员参与编程和维护一些自定义装置，在我看来，这比使用我们自己开发的 Python 测试套件更糟糕。

有什么想法、经验吗？

谢谢，拉德克

PS:我也在 QA 论坛上问过这个问题，但它的活跃度比 StackOverflow 低得多，很抱歉重复。

Answer 1

我之前遇到过几乎类似的情况。我们不得不在 RF、fitnesse 和 IBM 的 STAF/STAX 之间做出选择

我们选择了 Robot Framework，它运行良好。

1. 它应该同时用于后端(REST API、一些数据库检查)和 UI测试 - 对于 REST，RF 的 requests库和各种数据库库可以一起使用。
2. 它应该使用一种简单的语言，这样即使是非程序员/测试人员也可以了解测试用例(产品负责人应该能够看到是否涵盖所有验收标准)- RF 正是为了做到这一点。
3. 它应该支持与 Jenkins 的集成 - RF 有一个 jenkins插件
4. 它应该支持测试用例的版本控制，以便针对特定的产品版本我们现在也可以查看相关测试用例 - RF 的 tags功能将适用于此

存在一个机器人框架API ，因此它完全可以根据集成要求进行编程。