gpt4 book ai didi

apache-spark - spark : WARN amfilter. AmIpFilter : Could not find proxy-user cookie, 所以用户不会被设置

转载 作者:行者123 更新时间:2023-12-01 13:44:18 25 4
gpt4 key购买 nike

当我尝试访问 spark UI master:4040 时,您知道为什么在 spark shell 中会发生以下错误吗?

 WARN amfilter.AmIpFilter: Could not find proxy-user cookie, so user will not be set

最佳答案

如果你用 yarn 启动 Spark shell ,就会发生这种情况。

spark-shell --master yarn

在这种情况下,YARN 将启动代理 Web 应用程序以提高整个系统的安全性。
在启动 Spark shell 时,代理的 URL 将显示在日志中。
这是我的日志中的一个示例:
16/06/26 08:38:28 INFO cluster.YarnClientSchedulerBackend: Add WebUI Filter. org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter, Map(PROXY_HOSTS -> myhostname, PROXY_URI_BASES -> http://myhostname:8088/proxy/application_1466917030969_0003), /proxy/application_1466917030969_0003

您不应使用端口 4040(或您已配置的任何端口)访问标准 Spark Web UI。
相反,我知道这两个选项(我更喜欢第二个):
  • 扫描代理应用程序 URL 的日志并使用该
  • 打开 YARN Web UI http://localhost:8088/cluster
    按照链接到 ApplicationMaster(列跟踪 UI)的
    运行 Spark 应用程序

  • YARN 和 SPark 文档中也简要介绍了这一点。

    Spark 安全文档:
    https://spark.apache.org/docs/latest/security.html

    Yarn Web 应用程序代理文档:
    https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/WebApplicationProxy.html

    关于apache-spark - spark : WARN amfilter. AmIpFilter : Could not find proxy-user cookie, 所以用户不会被设置,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37127876/

    25 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com