firebase-test-lab - --num-flaky-test-attempts 是否重新运行整个套件或仅重新运行失败的测试？

Question

documentation for --num-flaky-test-attempts gcloud firebase test android run 的参数如下:

Specifies the number of times a test execution should be reattempted if one or more of its test cases fail for any reason.

这意味着它仅重新运行失败的测试，而不是整个套件，对吧？换句话说，测试一旦通过就不会重试，对吗？

Answer 1

gcloud firebase test android run 的命令行参数 --num-flaky-test-attempts 似乎会重新运行所有测试，而不仅仅是失败的测试。

我使用 --num-flaky-test-attempts 10 运行了一套测试，这里是套件中一个测试的日志中的时间戳:

04-27 03:41:51.225 passed
04-27 03:41:50.519 passed
04-27 03:41:43.533 failed
04-27 03:41:48.625 failed 
04-27 03:42:13.886 failed
04-27 03:41:33.749 failed
04-27 03:41:43.694 failed
04-27 03:41:42.101 failed
04-27 03:41:20.310 passed
04-27 03:40:17.819 passed
04-27 03:33:14.154 failed

它似乎每次都执行了整个测试套件。在某些情况下，上述测试通过，在某些情况下失败。它多次通过和失败，因此显然无论通过还是失败，它都会重新运行测试。

我相信总共有 11 次测试，因为我指定了 --num-flaky-test-attempts 10 这意味着它尝试运行该套件一次，但由于失败，它又运行了 10 次共 11 个。

这里是完整的命令，以防对任何人有帮助:

gcloud firebase test android run \
--project locuslabs-android-sdk \
--app app/build/outputs/apk/debug/app-debug.apk \
--test app/build/outputs/apk/androidTest/debug/app-debug-androidTest.apk \
--device model=walleye,version=28,locale=en_US,orientation=portrait \
--test-targets "class com.locuslabs.android.sdk.TestUITest" \
--use-orchestrator \
--num-flaky-test-attempts 10 \
--timeout 30m \
--environment-variables numShards=10,shardIndex=2 \
--verbosity debug