gpt4 book ai didi

java - Apache Spark : add JVM parameter

转载 作者:行者123 更新时间:2023-12-01 17:27:32 25 4
gpt4 key购买 nike

我想在 apache Spark 中使用 jdbc 驱动程序,但是 jdbc 有一个奇怪的问题,即时区转换。这个问题解释here .

解决方案建议我们应该添加这个参数

-Duser.timezone=UTC 

我做了一些搜索,发现我可以设置这些参数:

spark.driver.extraJavaOptions
spark.executor.extraJavaOptions

但我不知道应该在哪里添加它?在主配置文件中?

spark-env.sh
spark-defaults.conf

在从属配置文件中?

spark-env.sh
spark-defaults.conf

或者直接在我的应用程序中的 SparkConf 中?

最佳答案

您可以在应用程序中的 SparkConf 中设置它或者你也可以在spark-defaults.conf中设置。

引用https://spark.apache.org/docs/latest/configuration.html了解更多详情。

关于java - Apache Spark : add JVM parameter,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61189472/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com