分析仪表板的 QA 测试策略

Question

我的团队正在使用 Cognos 为 SaaS/ Multi-Tenancy 应用程序构建分析仪表板。我遇到的问题是正确的测试策略。

现在，测试一份带有开始和结束日期过滤器(以月/年格式)、一维过滤器和两个用于选择度量的控件(有 7 个度量，可以表示为总和或不同计数)的报告。

此外，用户可以深入分析结果报告中的点以获取详细的交易数据。

隐含的还有一个租户的报告不显示另一个租户的数据。

所以，问题来了。测试这个简单的报告需要两周时间，涉及对大量过滤器和度量组合进行数百次测试。这对我来说似乎太过分了。

是否有一种“策略”可以用来可靠地减少搜索空间并避免过度重复的测试？

Answer 1

好问题!
当我们通常发布(或想要)基于 Tableau 的新报告影响我们的 SSAS 多维数据集时，我们通常会要求特定的一组人作为 super 用户组来使用该报告，就像您在生产中使用该报告一样。虽然这可能不会花费一定的时间，假设您只有 2 天的时间来测试它，但会持续数周。与此同时，可以进行错误修复或更改并将其重新分配给同一组，而无需花时间停止测试人员，让他们等待修复，然后继续。

不要误会我的意思，有一个截止日期发布日期仍然是理想的，但是让报告实际上在一个小组内进行流通通常有助于比通过每个参数测试用例更快地推进事情。