gpt4 book ai didi

apache-spark - sbt、ivy、离线工作和怪异

转载 作者:行者123 更新时间:2023-12-04 04:07:44 24 4
gpt4 key购买 nike

我正在尝试离线(再次)处理 sbt 项目。事情看起来几乎没问题,但有些奇怪的事情让我感到困惑。这是我注意到的:

我创建了一个空的 sbt 项目,并且正在考虑 build.sbt 中的以下依赖项:

name := "sbtSand"

version := "1.0"

scalaVersion := "2.11.7"

libraryDependencies ++= Seq(
"joda-time" % "joda-time" % "2.9.1",
"org.apache.spark" %% "spark-core" % "1.5.2"
)

我已经在线构建了该项目,并且可以看到 [userhome]/.ivy2/cache 中的所有包。该项目构建良好。然后我关闭wifi,sbt clean并尝试构建。构建失败。我注释掉了 spark 依赖项(保留 joda-time 依赖项)。仍然离线,我运行 sbt compile。该项目构建良好。我放回了 spark 依赖项,并且 sbt clean。它再次无法构建。我重新上网。我可以再建一次。

失败构建的 sbt 输出类似于: https://gist.github.com/ashic/9e5ebc39ff4eb8c41ffb

它的关键部分是:
[info] Resolving org.apache.hadoop#hadoop-mapreduce-client-app;2.2.0 ...
[warn] Host repo1.maven.org not found. url=https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-mapreduce-client-app/2.2.0/hadoop-mapreduce-client-app-2.2.0.pom
[info] You probably access the destination server through a proxy server that is not well configured.

有趣的是 sbt 正在设法使用来自 ivy 缓存的 joda-time,但是对于 spark-core 包(或者说它的依赖项),它想要连接到 Internet 并且构建失败。任何人都可以帮助我理解这一点,我能做些什么才能让它在完全离线的情况下工作?

最佳答案

似乎问题已在 0.13.9 中解决。我使用的是 0.13.8。 [windows 的 0.13.9 msi 似乎给了我 0.13.8,而 0.13.9.2 msi 安装了正确的版本。现有项目需要在构建属性中手动更新到 0.13.9。]

关于apache-spark - sbt、ivy、离线工作和怪异,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34537886/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com