apache-spark - 组装 Spark 1.2.0 时 Unresolved 依赖关系

Question

我正在尝试在 ubuntu 上构建 Spark 1.2.0，但我遇到了依赖问题。

我基本上下载文件提取文件夹并运行 sbt/sbt/assembly

sbt = 0.13.6

斯卡拉 = 2.10.4

sbt.ResolveException: unresolved dependency: org.apache.spark#spark-
network-common_2.10;1.2.0: configuration not public in 
org.apache.spark#spark-network-common_2.10;1.2.0: 'test'. It was 
required from org.apache.spark#spark-network-shuffle_2.10;1.2.0 test

Answer 1

这个sbt issue似乎可以解释:如果同一版本已从公共(public) Maven 存储库中解决，这将是尝试获取 test->test 依赖项的结果。

一种解决方法是使用 git SHA 版本控制或 SNAPSHOT 来构建该测试依赖项的非最终版本，但除非我们了解您是如何进入“坏”的 ivy 缓存状态的，否则我们不会知道更多。

TL;DR:尝试在构建之前清除您的 Spark 文物缓存。

编辑:这已在 sbt 0.13.10-RC1 https://github.com/sbt/sbt/pull/2345 中修复请更新