gpt4 book ai didi

hadoop - 直接从 HDFS 读取文件

转载 作者:可可西里 更新时间:2023-11-01 14:24:36 28 4
gpt4 key购买 nike

有没有办法通过使用 HDFS 路径直接从 HDFS 读取任何文件格式,而不必从 HDFS 本​​地拉取文件并读取它。

最佳答案

您可以在 HDFS 上使用 cat 命令读取常规文本文件。

hdfs dfs -cat /path/to/file.csv

要读取gz、bz2等压缩文件,您可以使用:

hdfs dfs -text /path/to/file.gz

这是 Hadoop 使用 FsShell 命令原生支持的两种读取方法。对于其他复杂的文件类型,您将不得不使用更复杂的方式,例如 Java 程序或类似的东西。

关于hadoop - 直接从 HDFS 读取文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44132467/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com