gpt4 book ai didi

scala - 从提供的等动态更改 sbt 构建文件中的库依赖项

转载 作者:行者123 更新时间:2023-12-04 15:09:01 26 4
gpt4 key购买 nike

我们在 Scala 应用程序中经常使用 spark。如果我在本地测试我的库依赖项是:

  libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.6.1",
libraryDependencies += "org.apache.spark" % "spark-sql_2.10" % "1.6.1" ,

而我正在构建一个 jar 来部署我使用:
  libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.6.1" % "provided",
libraryDependencies += "org.apache.spark" % "spark-sql_2.10" % "1.6.1" % "provided",

由于工作的性质,我们有时可能不得不在尝试不同的事情时来回翻转几次。不可避免的是,在某些时候我忘记更改构建文件并最终浪费时间,这不是很多时间,但足以促使我提出这个问题。

那么,有没有人知道一种让构建文件根据触发器更新提供的值的方法(不包括记住“做对了”)?例如,也许是读取 test 或 live 的配置选项?

提前致谢。

最佳答案

在我的示例中,我刚刚使用两个不同的 spark 版本执行了动态构建。我需要根据特定条件使用两个不同的版本。

您可以通过两种方式做到这一点。由于您需要以一种或其他方式提供输入,因此您需要使用命令行参数。

1)使用build.sbt它自己。

a) 您可以定义一个名为“sparkVersion”的参数

b) 在 build.sbt 中读取该参数,(您可以在 build.sbt 中编写 Scala 代码,它会在构建时以任何方式编译为 Scala。)

c) 执行基于条件的依赖关系,如下所示。

val sparkVersion = Option(System.getProperty("sparkVersion")).getOrElse("default")

if(sparkVersion == "newer"){
println(" newer one");
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.6.0"
}else{
println(" default one");
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.6.0" % "provided"
}

您可以随意使用所有构建选项。

2) 使用 build.scala 文件。 您可以在/project/build.scala 中创建一个 build.scala 文件

你可以写下面的代码。
import sbt._
import Keys._

object MyBuild extends Build {
val myOptionValue = Option(System.getProperty("scalaTestVersion")).getOrElse("defaultValue")

val depVersion = if(myOptionValue == "newer"){
println(" asked for newer version" );
"2.2.6"
}else{
println(" asked for older/default version" );
"2.2.0"
}

val dependencies = Seq(
"org.scalatest" %% "scalatest" % depVersion % "test"
)

lazy val exampleProject = Project("SbtExample", file(".")).settings(
version := "1.2",
scalaVersion := "2.10.4",
libraryDependencies ++= dependencies
)

}

在此之后,只需运行如下构建命令。

sbt clean compile -DsparkVersion=newer -DscalaTestVersion=newer

我已经为两者提供了构建命令。您可以选择其中之一,并且只提供一个选项。
如果您需要任何帮助,请写信给我。

为了解决构建中的重复项,您可以在 build.sbt 中添加以下一个
mergeStrategy in assembly := {
case m if m.toLowerCase.endsWith("manifest.mf") => MergeStrategy.discard
case m if m.toLowerCase.matches("meta-inf.*\\.sf$") => MergeStrategy.discard
case "log4j.properties" => MergeStrategy.discard
case "log4j-defaults.properties" => MergeStrategy.discard
case m if m.toLowerCase.startsWith("meta-inf/services/") => MergeStrategy.filterDistinctLines
case "reference.conf" => MergeStrategy.concat
case _ => MergeStrategy.first
}

你会明白 sbt 是多么的好和神奇。

关于scala - 从提供的等动态更改 sbt 构建文件中的库依赖项,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38079755/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com