gpt4 book ai didi

scala - SaveMode 在 Spark SQL 中不起作用

转载 作者:行者123 更新时间:2023-12-05 01:46:22 26 4
gpt4 key购买 nike

我正在使用 SaveMode 选项运行 Spark SQL 示例,但出现以下错误。

val df = sqlContext.read.format("json").load("/user/root/spark/data/people.json")
df.select("name","age").write.format("json").save("Output",SaveMode.ErrorIfExist)


<console>:35: error: overloaded method value save with alternatives:
()Unit <and>
(path: String)Unit
cannot be applied to (String, org.apache.spark.sql.SaveMode)
df.select("name", "age").write.format("json").save("Output",SaveMode.ErrorIfExists

我检查了文档,它说 SaveMode 已被弃用。我该如何解决这个问题?

任何建议。

最佳答案

你可以使用DataFrameWriter.mode方法:

df.write.mode("error").save(...)

df.write.mode(SaveMode.ErrorIfExists).save(...)

关于scala - SaveMode 在 Spark SQL 中不起作用,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36140725/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com