gpt4 book ai didi

hadoop - hdfs dfs 命令很慢 - 有没有办法让它更快?

转载 作者:可可西里 更新时间:2023-11-01 14:16:33 29 4
gpt4 key购买 nike

我在 Hadoop 2.2.0 上运行单节点设置。

我的理解是 hdfs dfs -ls 很慢,因为它每次被调用时都会启动一个 JVM

有没有办法让它保持 JVM 运行,以便简单的命令可以更快地完成?

最佳答案

我想告知您我们为解决此问题所做的解决方案。

我们创建了一个新的实用程序 - HDFS Shell 以更快地使用 HDFS。

https://github.com/avast/hdfs-shell

  • HDFS DFS 为每个命令调用启动 JVM,HDFS Shell 只启动一次 - 这意味着当您需要更频繁地使用 HDFS 时速度会大大提高
  • 可以使用简短的方式使用命令 - 例如。 hdfs dfs -ls/, ls/ - 两者都可以工作
  • 使用 TAB 键完成 HDFS 路径
  • 我们可以轻松添加任何其他 HDFS 操作函数
  • 在历史日志(~/.hdfs-shell/hdfs-shell.log)中保留了一个命令历史
  • 支持相对目录+命令cdpwd
  • 还有更多...

关于hadoop - hdfs dfs 命令很慢 - 有没有办法让它更快?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21224105/

29 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com