gpt4 book ai didi

hadoop - 具有选定列的HDFS集群内复制

转载 作者:行者123 更新时间:2023-12-02 20:52:20 25 4
gpt4 key购买 nike

我正在使用Avro文件将数据存储在HDFS中。我需要从一个avro文件中复制选定的列数据,并将其发送到具有自己的架构文件(具有选定的列信息)的同一群集中的另一个位置。我怎样才能做到这一点?是否可以使用Hive实现?还是HDFS中有任何实用程序可以帮助我做到这一点?

这是必需的,因为一个组必须能够访问整个表,而另一个组应该只能访问少数列。因此,我需要将它们放在HDFS中的单独位置,仅包含所需的架构和avro文件。

最佳答案

有多种创建方法,我会说最简单的方法是使用Hive或Spark。在配置单元中,您可以使用阅读器架构(仅具有所需的字段)创建表,并将表的位置指向目标目录。之后,您所需要做的就是从源表中插入,仅选择要在阅读器表中使用的字段。

就像评论一样,在这种情况下,创建读取器模式是避免重复数据的很好解决方案。如果没有严格的要求来创建数据的子集,我建议使用阅读器模式

关于hadoop - 具有选定列的HDFS集群内复制,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45607286/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com