hadoop - 如何在 dataproc 集群上重启 hadoop 服务

Question

我可能使用了错误的术语进行搜索，但谷歌并未告诉我如何执行此操作。问题是如何在更改一些配置文件(yarn 属性等)后在 Dataproc 上重启 hadoop 服务？

服务必须在整个集群中按特定顺序重新启动。必须有脚本或工具，希望在 Dataproc 安装中，我可以调用它们来重启集群。

Answer 1

配置属性是一个常见且得到良好支持的用例。

您可以通过 cluster properties 执行此操作，不需要重启守护进程。示例:

dataproc 集群创建 my-cluster --properties yarn:yarn.resourcemanager.client.thread-count=100

如果您正在做一些更高级的事情，例如更新服务日志级别，那么您可以使用 systemctl 来重启服务。

首先 ssh 到集群节点并键入 systemctl 以查看可用服务列表。例如重启 HDFS NameNode 类型 sudo systemctl restart hadoop-hdfs-namenode.service

如果这是初始化操作的一部分，则不需要 sudo。