java - 有什么方法可以检查 Hadoop 文件是否已经打开进行写入？

Question

多个 Java 实例在我的机器上运行，我想检查 Hadoop 文件是否已经在写入(fs.create(file) 或 fs.append(file))模式下以任何方式打开的实例。

我在 Hadoop 文件的 FileStatus 中试过，没有找到任何东西。

有什么方法可以检查 Hadoop 文件是否已经打开进行写入？

一种方法是再次尝试创建/附加文件并捕获异常，但我有数千个文件并且不想尝试每个文件。此外，如果创建/追加成功，那么我必须关闭文件并且 lastModifiedTime 也会更改。我不想修改 Hadoop 文件的 FileStatus。

Answer 1

DistributedFileSystem 提供了方法isFileClosed(path) 来检查文件是否打开写入。

try {
    DistributedFileSystem dfs = new DistributedFileSystem();
    Path path = new Path("/path/to/hadoop/file");
    FileSystem fs = path.getFileSystem(conf);
    dfs.initialize(fs.getUri(),conf);

    if (dfs.exists(path) && !dfs.isFileClosed(path)) {
        System.out.println("File " + path +" already opened in write mode");
    }
} catch (IOException e) {
    e.printStackTrace();
}