gpt4 book ai didi

apache-spark - 在 yarn 上运行 spark 时参数列表太长

转载 作者:行者123 更新时间:2023-12-04 13:38:36 24 4
gpt4 key购买 nike

我正在尝试将我们的应用程序迁移到在 yarn 上运行的 spark。我将 cmdline 用作 spark-submit --master yarn --deploy-mode cluster -jars ${my_jars}...

但是 yarn 抛出带有以下日志的 Expections:容器 ID:container_1462875359170_0171_01_000002
退出代码:1
异常消息:.../launch_container.sh:第 4145 行:/bin/bash:参数列表太长

我认为原因可能是选项 --jars ${my_jars} 指定的 jar 太多(684 个 jar 用逗号分隔),我的问题是指定的优雅方式是什么我们所有的 jar ?或者我们如何避免这种 yarn 错误?

最佳答案

检查是否可以使用 spark.driver.extraClassPath extraClassPath Spark Documentation

spark.driver.extraClassPath /fullpath/firs.jar:/fullpath/second.jar
spark.executor.extraClassPath /fullpath/firs.jar:/fullpath/second.jar

刚找到话题spark-submit-add-multiple-jars-in-classpath

关于apache-spark - 在 yarn 上运行 spark 时参数列表太长,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41139028/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com