scala - 为什么 Spark 会失败并显示 "value write is not a member of org.apache.spark.sql.DataFrameReader [error]"？

Question

我有两个几乎相同的写入 db 。 scala 语句，但是一个给我一个错误，另一个没有，我不明白如何解决它？有任何想法吗 ？

这个语句是有效的

df_pm_visits_by_site_trn.write.format("jdbc").option("url", db_url_2).option("dbtable", "pm_visits_by_site_trn").option("user", db_user).option("password", db_pwd).option("truncate","true").mode("overwrite").save()

这个不工作并抛出编译错误

df_trsnss .write.format("jdbc").option("url", db_url_2).option("dbtable", "df_trsnss")               .option("user", db_user).option("password", db_pwd).option("truncate","true").mode("overwrite").save()

_dev.scala:464: value write is not a member of org.apache.spark.sql.DataFrameReader [error] df_trsnss.write.format("jdbc").option("url", db_url_2).option("dbtable", "trsnss").option("user", db_user).option("password", db_pwd).option("truncate","true").mode("overwrite").save()

如果我删除我的第二个写入语句或只是简单地将其注释掉，整个代码编译时没有错误。

Answer 1

根据错误消息，df_trsnss 是 DataFrameReader，而不是 DataFrame。您可能忘记调用 load。

val df_trsnss = spark.read.format("csv")

代替

val df_trsnss = spark.read.format("csv").load("...")