maven - 包含 Maven 配置文件时如何在 Spark 中仅运行一个 Scalatest(通过 wildcardSuites)

Question

我有以下命令行通过 maven 运行 Spark scalatest:

mvn  -pl mllib -Pyarn -Phadoop-2.6 -Dhadoop2.7.1 
-Dscala-2.11 '-D!scala-2.10' -Dmaven.javoc.skip=true 
-DmembersOnlySuites=org.apache.spark.ml.feature.BinarizerSuite test

让我们分解一下:

Select only the mllib module:

-pl mllib

Set various profiles and scala settings:

-Pyarn -Phadoop-2.6 -Dhadoop2.7.1 -Dscala-2.11 '-D!scala-2.10' -Dmaven.javoc.skip=true 

注意:需要这些配置文件和设置才能为我们的环境获取正确的编译选项。它们已经过多次包装验证。

Choose the BinarizerSuite only:

-DwilcardSuites=org.apache.spark.ml.feature.BinarizerSuite test

结果接近我所希望的 - 除了正在运行 mllib java 测试用例。

我用过

mvn -DwildcardSuites=org.apache.spark.ml.feature.BinarizerSuite test

这确实做了正确的事情:只测试了一个套件。所以似乎 maven 命令行解析器没有被提供预期的选项顺序。但我已经尝试了所有不同的排序方式。

Answer 1

Spark 邮件列表中的 Sean Owen 提供了答案:我缺少以下设置:

 -Dtest=None

该设置关闭了 Java 测试。