scala - Spark SFTP 连接器库 - Spark SFTP 连接失败

Question

尝试通过 SFTP 连接到另一个集群中的文件，但没有任何效果。

Current spark version is : '2.2.0.2.6.4.0-91 .

scala :2.11.8'

.

下面是数据框:

val df_file_feed =spark.read.format("com.springml.spark.sftp").option("host","1-1111").option("username","user").option("password","pasword").option("fileType","csv").load("/home/folder/Path_02.csv")


Exception in thread "main" java.lang.ClassNotFoundException: Failed to find data source: com.springml.spark.sftp.

也试过这些 jar 。 spark-sftp_2.10-1.0.2.jar spark-sftp_2.11-1.1.0.jar ,spark-sftp_2.11-1.1.4.jar

Answer 1

如果你使用的是 spark-shell 你必须这样尝试......

bin/spark-shell --packages com.springml:spark-sftp_2.11:1.1.3

看看Spark SFTP Connector Library其中指出

链接您可以通过以下方式在您的程序中链接到该库:

Maven 依赖

<dependency>
    <groupId>com.springml</groupId>
    <artifactId>spark-sftp_2.11</artifactId>
    <version>1.1.3</version>
</dependency>

SBT 依赖

libraryDependencies += "com.springml" % "spark-sftp_2.11" % "1.1.3"