gpt4 book ai didi

java - 有没有办法强制 hadoop 作业查看下划线文件夹?

转载 作者:可可西里 更新时间:2023-11-01 15:38:19 25 4
gpt4 key购买 nike

我必须处理文件夹中以“_”(下划线)开头的一堆文件。有没有办法强制 hadoop 查看这些文件夹?我需要编写自己的 FileInputFormat 吗?

最佳答案

最简单的方法可能是使用例如 FileSystem.globStatus 自行构建输入文件列表,然后使用 FileInputFormat.addInputPath 手动将它们添加到作业中。 FileSystem.globStatus 默认不过滤隐藏文件。

关于java - 有没有办法强制 hadoop 作业查看下划线文件夹?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21862710/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com