r - 将数据帧保存到 hdfs 后，当我在使用 rhdfs 读回它时尝试反序列化它时出现错误

Question

我已经使用 rhdfs 库将数据帧写入 hdfs，当我尝试读回它时出现错误。

写入dataframe的代码如下，

df.file <- hdfs.file("/mydir/df.Rdata", "w")
hdfs.write(df, df.file)
hdfs.close(df.file)

并在我使用中读回

df.file <- hdfs.file("/mydir/df.Rdata", "r")
m <- hdfs.read(df.file)
df <- unserialize(m)
hdfs.close(df.file)

但我在反序列化阶段遇到错误，

Error in unserialize(m) : read error

有没有人知道这个错误的原因是什么以及我可以做些什么来防止它。任何帮助将不胜感激。

Answer 1

当反序列化的对象大于 65536 字节时会发生这种情况

如果你查看 RStudio 环境，你会看到 df 对象是原始的[1:65536]，你错过了文件的一部分

您应该像下面的代码一样逐条阅读:

http://chingchuan-chen.github.io/posts/2015/04/08/installations-of-rhdfs-rmr2-plyrmr-and-hbase