gpt4 book ai didi

hadoop - 如何在 Spark on YARN 中为 Spark UI 创建安全过滤器

转载 作者:可可西里 更新时间:2023-11-01 14:48:11 25 4
gpt4 key购买 nike

环境:AWS EMR,yarn 集群。

描述:我正在尝试使用 java 过滤器来保护对 spark ui 的访问,这是通过使用属性 spark.ui.filters;问题是,当 spark 在 yarn 模式下运行时,该属性总是被 hadoop 使用过滤器 org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter 覆盖:

spark.ui.filters: org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter

这两个参数是haddoop自动传递的

spark.org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter.param.PROXY_HOSTS: ip-x-x-x-226.eu-west-1.compute.internal

spark.org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter.param.PROXY_URI_BASES: http://ip-x-x-x-226.eu-west-1.compute.internal:20888/proxy/application_xxxxxxxxxxxxx_xxxx

关于如何添加 java 安全过滤器以便 hadoop 不会覆盖它,或者如何从 hadoop 端配置安全性的任何建议?

谢谢。

最佳答案

这可以通过使用属性 hadoop.http.authentication.type 来解决指定包含身份验证的自定义 Java 处理程序对象逻辑。这个类只需要实现接口(interface) org.apache.hadoop.security.authentication.server.AuthenticationHandler。见:

https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/HttpAuthentication.html

关于hadoop - 如何在 Spark on YARN 中为 Spark UI 创建安全过滤器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48177044/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com