gpt4 book ai didi

git - 反之亦然如何将HDFS中的文件获取/复制到Git存储库中?

转载 作者:行者123 更新时间:2023-12-02 20:42:31 24 4
gpt4 key购买 nike

我在HDFS中有文件需要与Git存储库中的其他文件进行比较。因此,我想将HDFS文件复制到Git存储库中。另一个工具将与HDFS进行比较。

是否可行?

如果是,请告知是否还有另一种方法来取出文件?

最佳答案

我想到了一些想法:

  • 您可以将文件从hdfs复制到本地计算机,然后运行比较文件的工具。

    a)您可以使用命令行工具手动执行此操作:
    hadoop fs -copyToLocal <hdfs file> <local file>

    b)您可以组成oozie工作流,该工作流将包含与“比较器”一起执行的操作,并使用distributed cache从hdfs获取文件。

    c)如果没有可用的命令行工具,则可以使用webhdfs获取文件:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/WebHDFS.html
  • 您可以使用文件系统API从hdfs流式传输数据内容并“即时”比较它:https://hadoop.apache.org/docs/r2.7.5/api/org/apache/hadoop/fs/FileSystem.html#open-org.apache.hadoop.fs.Path-
  • 关于git - 反之亦然如何将HDFS中的文件获取/复制到Git存储库中?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49262131/

    24 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com