hadoop - 相当于 'hadoop fs -tail -f' 的程序

Question

我想使用 org.apache.hadoop.fs.FileSystem API 以编程方式跟踪一个 hdfs 文件。有没有一种方法可以使用 API 以等同于 hadoop fs -tail -f 命令的方式跟踪文件？

Answer 1

也许我误解了这个问题。 hadoop fs -tail -f 是使用 API 实现的吧？

来自 org.apache.hadoop.fs.FsShell.tail(String[], int)

long fileSize = srcFs.getFileStatus(path).getLen();
long offset = (fileSize > 1024) ? fileSize - 1024: 0;

while (true) {
  FSDataInputStream in = srcFs.open(path);
  in.seek(offset);
  IOUtils.copyBytes(in, System.out, 1024, false);
  offset = in.getPos();
  in.close();
  if (!foption) {
    break;
  }
  fileSize = srcFs.getFileStatus(path).getLen();
  offset = (fileSize > offset) ? offset: fileSize;
  try {
    Thread.sleep(5000);
  } catch (InterruptedException e) {
    break;
  }
}