- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我正在尝试使用 bde2020 提供的图像组成一个轻量级的最小 hadoop 堆栈。 (学习目的)。现在,堆栈包括(除其他外)
基本上,我是从欧洲大数据开始的official docker compose , 并添加了一个基于 their documentation 的色调图像
Hue的文件浏览器无法访问HDFS:
Cannot access: /user/dav. The HDFS REST service is not available. Note: you are a Hue admin but not a HDFS superuser, "hdfs" or part of HDFS supergroup, "supergroup".
HTTPConnectionPool(host='namenode', port=50070): Max retries exceeded with url: /webhdfs/v1/user/dav?op=GETFILESTATUS&user.name=hue&doas=dav (Caused by NewConnectionError('<requests.packages.urllib3.connection.HTTPConnection object at 0x7f8119a3cf10>: Failed to establish a new connection: [Errno 111] Connection refused',))
localhost:9870/webhdfs/v1
并相应地编辑 hue 容器中的 hue.ini
(通过添加webhdfs_url=http://namenode:9870/webhdfs/v1
)当我登录 hue 的容器时,我可以看到 namenode 的端口 9870 是打开的(nmap -p 9870 namenode
)。 50070 不是。我认为我的问题与网络无关。尽管编辑了 hue.ini
,Hue 仍然使用端口 50070。那么,在我当前的设置中,如何强制 hue 使用端口 9870? (如果是这个原因)
version: '3.7'
services:
namenode:
image: bde2020/hadoop-namenode:2.0.0-hadoop3.1.1-java8
container_name: namenode
hostname: namenode
domainname: hadoop
ports:
- 9870:9870
volumes:
- hadoop_namenode:/hadoop/dfs/name
- ./entrypoints/namenode/entrypoint.sh:/entrypoint.sh
env_file:
- ./hadoop.env
- .env
networks:
- hadoop_net
# TODO adduser --ingroup hadoop dav
datanode1:
image: bde2020/hadoop-datanode:2.0.0-hadoop3.1.1-java8
container_name: datanode
hostname: datanode1
domainname: hadoop
volumes:
- hadoop_datanode:/hadoop/dfs/data
environment:
SERVICE_PRECONDITION: "namenode:9870"
env_file:
- ./hadoop.env
networks:
- hadoop_net
resourcemanager:
image: bde2020/hadoop-resourcemanager:2.0.0-hadoop3.1.1-java8
container_name: resourcemanager
environment:
SERVICE_PRECONDITION: "namenode:9870 datanode:9864"
env_file:
- ./hadoop.env
networks:
- hadoop_net
nodemanager1:
image: bde2020/hadoop-nodemanager:2.0.0-hadoop3.1.1-java8
container_name: nodemanager
environment:
SERVICE_PRECONDITION: "namenode:9870 datanode:9864 resourcemanager:8088"
env_file:
- ./hadoop.env
networks:
- hadoop_net
historyserver:
image: bde2020/hadoop-historyserver:2.0.0-hadoop3.1.1-java8
container_name: historyserver
environment:
SERVICE_PRECONDITION: "namenode:9870 datanode:9864 resourcemanager:8088"
volumes:
- hadoop_historyserver:/hadoop/yarn/timeline
env_file:
- ./hadoop.env
networks:
- hadoop_net
filebrowser:
container_name: hue
image: bde2020/hdfs-filebrowser:3.11
ports:
- "8088:8088"
env_file:
- ./hadoop.env
volumes: # BYPASS DEFAULT webhdfs url
- ./overrides/hue/hue.ini:/opt/hue/desktop/conf.dist/hue.ini
environment:
- NAMENODE_HOST=namenode
networks:
- hadoop_net
networks:
hadoop_net:
volumes:
hadoop_namenode:
hadoop_datanode:
hadoop_historyserver:
最佳答案
我能够让 Filebrowser 使用这个 INI
[desktop]
http_host=0.0.0.0
http_port=8888
time_zone=America/Chicago
dev=true
app_blacklist=impala,zookeeper,oozie,hbase,security,search
[hadoop]
[[hdfs_clusters]]
[[[default]]]
fs_defaultfs=hdfs://namenode:8020
webhdfs_url=http://namenode:50070/webhdfs/v1
security_enabled=false
还有这个组成
version: "2"
services:
namenode:
image: bde2020/hadoop-namenode:1.1.0-hadoop2.7.1-java8
container_name: namenode
ports:
- 8020:8020
- 50070:50070
# - 59050:59050
volumes:
- hadoop_namenode:/hadoop/dfs/name
environment:
- CLUSTER_NAME=test
env_file:
- ./hadoop.env
networks:
- hadoop
datanode1:
image: bde2020/hadoop-datanode:1.1.0-hadoop2.7.1-java8
container_name: datanode1
ports:
- 50075:50075
# - 50010:50010
# - 50020:50020
depends_on:
- namenode
volumes:
- hadoop_datanode1:/hadoop/dfs/data
env_file:
- ./hadoop.env
networks:
- hadoop
hue:
image: gethue/hue
container_name: hue
ports:
- 8000:8888
depends_on:
- namenode
volumes:
- ./conf/hue.ini:/hue/desktop/conf/pseudo-distributed.ini
networks:
- hadoop
- frontend
volumes:
hadoop_namenode:
hadoop_datanode1:
networks:
hadoop:
frontend:
hadoop.env
也必须添加 hue 作为代理用户
CORE_CONF_fs_defaultFS=hdfs://namenode:8020
CORE_CONF_hadoop_http_staticuser_user=root
CORE_CONF_hadoop_proxyuser_hue_hosts=*
CORE_CONF_hadoop_proxyuser_hue_groups=*
HDFS_CONF_dfs_replication=1
HDFS_CONF_dfs_webhdfs_enabled=true
HDFS_CONF_dfs_permissions_enabled=false
关于docker - Hue 访问 HDFS : bypass default hue. ini?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57116402/
假设我有一个像这样的Dockerfile: FROM debian:stretch RUN apt update RUN apt install -y wget RUN wget https://st
已关闭。这个问题是 not reproducible or was caused by typos 。目前不接受答案。 这个问题是由拼写错误或无法再重现的问题引起的。虽然类似的问题可能是 on-top
在我正在创建的网络应用程序中,使用了很多媒体。因此,如果每次加载页面时都必须重新加载该媒体,就会有很大的压力。 (由于媒体不在页面内,而是通过 websockets 检索的,我怀疑浏览器是否会缓存它)
我正在努力做到这一点,以便当用户点击时发生这种情况。 按顺序, Does something. (Not being specific, this isn't the important part.)
我这里有个小问题。我知道 Linux 限制了用户实际可以运行的线程数。 我正在使用 pthread_create 和一个限制为 50 ( pthread_t tid[50]; ) 的 pthread_
第一次在这里提问,我通常不需要发布任何东西就可以找到我所有的答案,但今天我被困在我的小程序中(我不是程序员所以如果错了我可能会这样做)。这是问题所在:我正在阅读日志文件,同时寻找一些关键字,相当简单。
想一想,我们可以在开发应用程序时绕过 iPhone/iPad 应用程序的 Splash-Screen 吗?实际上,我需要没有启动画面的应用程序,但是如果我没有在 X 代码中为启动画面设置图像,它在启动
我有一个 RStudio 项目,它使用 renv 管理包,效果很好。 但有时我想在我的主环境(正确的词?)上使用库来调试或探索一些我不想添加到项目中的东西。例如,也许我想运行一些长调试函数并在最后调用
我有一个 RStudio 项目,它使用 renv 管理包,效果很好。 但有时我想在我的主环境(正确的词?)上使用库来调试或探索一些我不想添加到项目中的东西。例如,也许我想运行一些长调试函数并在最后调用
我制作了一个小型应用程序,我必须根据关键字检索 URL。这是代码: Elements doc = Jsoup .connect(request) .userAgen
我需要计算非常大的数字之间的比率,如代码所示: import scipy.special x=2000 n=range(8,x+1) q=[] for i in range(0,len(n)):
我想通过在多个条件下连接多个表来选择行...但它失败了。 PonyORM似乎限制了“if 语句”中的条件数量。 在 estore.py/test_queries (PY3.6, PonyORM 0.7
我在使用 AddConventionalPlugin 时遇到此错误: 你必须传入插件实例的类型——比如 typeof(Cirrious.MvvmCross.Plugins.Visibility.Win
在 CircleCI 中使用 apt-get 时,我得到 Press [ENTER] to continue or ctrl-c to cancel adding it。如何自动绕过它? 我尝试使用
因此,我目前在 Google 的 Compute Engine 平台上租用了一台大型服务器,每月费用约为 180 美元。我以前从未设置过邮件服务器并掌握了 Exim4,并且在我发现 Google 阻止
我得到一个网址: r = requests.get("http://myserver.com") 正如我在“myserver.com”的“access.log”中看到的,使用了客户端的系统代理。但我想
我在 Mathematica 中从未出现过溢出错误,发生了以下情况。 我演示了 RSA 加密的原理如下: n = 11*13 m = EulerPhi[n] e = 7 GCD[e, m]
我想在某些情况下绕过Spring webflow(Spring 2.0.5)应用程序的登录表单(因此该登录表单是为普通用户提供的,但是当URL像http://server.com/myspringap
我们最近在我们的应用程序中实现了 okta。 每当用户想要登录时,它都会要求输入 okta 代码,该代码每 30 秒会不断变化,但是在运行 selenium 时,我应该如何输入 okta 代码? 我可
我正在构建一个网络应用程序,用户可以在其中与其他用户共享链接。 让我们用一个例子来说明我的问题: Alice 正在使用网络应用。 Alice 通过 Messenger API 分享与 Bob 的链接。
我是一名优秀的程序员,十分优秀!