gpt4 book ai didi

hadoop - 从 hadoop 外部访问 hdfs

转载 作者:可可西里 更新时间:2023-11-01 14:25:29 26 4
gpt4 key购买 nike

我想使用存储在 HDFS 中的输入文件在 hadoop 之外(但在同一集群上)运行一些可执行文件。

这些文件需要复制到节点本地吗?或者有没有办法在 hadoop 之外访问 HDFS?

有关如何执行此操作的任何其他建议都很好。不幸的是,我的可执行文件不能在 hadoop 中运行。

谢谢!

最佳答案

有几种典型的方法:

  • 您可以通过 HDFS Java API 访问 HDFS 文件如果您正在用 Java 编写程序。您可能正在寻找 open .这将为您提供一个类似于通用打开文件的流。
  • 如果您的程序通过标准输入获取输入,您可以使用 hadoop cat 流式传输数据:hadoop fs -cat/path/to/file/part-r-* |我的程序.pl。您可以假设使用 popen 之类的命令行命令创建一个网桥。

关于hadoop - 从 hadoop 外部访问 hdfs,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/9039416/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com