java - 数据未出现在使用 HADOOP LocalFileSystem 写入的文件中

Question

我编写了以下代码，使用 HADOOP 的 LocalFileSytem 将几个字节写入本地文件。我使用了 flush() ，据我所知，它会刷新 JVM 缓冲区，而 hsynch() 会刷新操作系统缓冲区，从而导致写入数据到磁盘。但在我的例子中，它的数据没有出现在文件“1.txt”中。但是当我使用 close() 关闭输出流时[暂时我已经在我的代码中注释掉] 数据完美地出现了。如果我对 flush() 和 hsynch() 的理解正确与否，请纠正我？如果正确，为什么数据没有出现？

package hdfsTrying.hdfstrying;
import java.io.BufferedWriter;
import java.io.FileOutputStream;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import com.google.protobuf.ByteString.Output;

public class LocalFileAccess {
    public static void main(String arg[])
    {
        Path p = new Path("/home/priya/1.txt");
        FileSystem fs;
        Configuration cfg = new Configuration();
        try
        {
            fs= FileSystem.getLocal(cfg);

            FSDataOutputStream out = fs.create(p);
            out.write("Hi This should be written to file 1.txt".getBytes());
            out.flush();
            out.hsync();
            //out.close();
            FileStatus fst[]  = fs.listStatus(p);
            for(FileStatus g:fst)
             System.out.println(g.getPath());

        }
        catch(IOException io)
        {
            System.out.println("I am having exception");
            System.out.println(io.getMessage());
        }


    }

}

Answer 1

当您使用flush 方法将文件写入磁盘时，它只会在达到一个 block 的数据量时才写入磁盘。因此，如果您的数据较小(这是您的情况)，您需要调用 hsync 函数来强制同步所有缓冲区。但是，此方法仅适用于 1.x 以上的 Hadoop 版本，因为在此之前此方法仅调用了 hflush。如果您的 Hadoop 版本较低，请尝试调用 sync 而不是 hsync。