hadoop - 如何将数据附加到存储在HDFS中的文件

Question

我想存储当前正在运行的查询的详细信息，例如正在执行查询的文件名和时间。为此，我在HDFS中创建了一个文件，试图写入信息。但是问题是如何将数据追加到现有文件中。请帮我。提前致谢

Answer 1

首先，停止所有Hadoop守护程序，并在 hdfs-site.xml 中添加以下属性:

<property>
       <name>dfs.support.append</name>
       <value>true</value>
</property> 

现在，重新启动守护程序，然后尝试以下代码:

public class HDFSAppend {

    public static void main(String[] args) throws IOException {
        // TODO Auto-generated method stub
        Configuration conf = new Configuration();
        conf.addResource(new Path("/path/to/your/hadoop/directory/conf/core-site.xml"));
        conf.addResource(new Path("/path/to/your/hadoop/directory/conf/hdfs-site.xml"));
        FileSystem fs = FileSystem.get(conf);
        FSDataOutputStream out = fs.append(new Path("/demo.txt"));
        out.writeUTF("Append demo...");
        fs.close();

    }    
}

高温超导