scala - spark-shell 依赖项，从 sbt 翻译

Question

在检查如何使用 cassandra 连接时，文档指示将其添加到 sbt 文件中:

"libraryDependencies += "com.datastax.spark" %% "spark-cassandra-connector" % "1.6.0-M1"

一般来说，是否有一个明显的、直接的逻辑将其转换为相应的:

spark-shell --packages "field1":"field2"

我试过了:

spark-shell --packages "com.datastax.spark":"spark-cassandra-connector"

和其他一些事情，但这不起作用。

Answer 1

我相信是--packages "groupId:artifactId:version" .如果你有多个包，你可以用逗号分隔它们。--packages "groupId1:artifactId1:version1, groupId2:artifactId2:version2"
在 sbt

val appDependencies = Seq(
  "com.datastax.spark" % "spark-cassandra-connector_2.10" % "1.6.0-M1"
)

和

val appDependencies = Seq(
  "com.datastax.spark" %% "spark-cassandra-connector" % "1.6.0-M1"
)

是相同的。
如果您使用 %% sbt 中的语法(在 groupId 之后)，它会自动为您的 Scala 版本选择工件。因此，使用 scala 2.10 会将您的 spark-cassandra-connector 更改为 spark-cassandra-connector_2.10。不确定使用 spark-shell 时是否存在此功能，因此您可能需要像这样明确要求您的工件的 scala2_10 版本: --packages "com.datastax.spark:spark-cassandra-connector_2.10:1.6.0-M1"