gpt4 book ai didi

hadoop - 如何使用动态生成的分区值将Pig脚本的输出插入到配置单元外部表中?

转载 作者:行者123 更新时间:2023-12-02 21:18:00 37 4
gpt4 key购买 nike

我写了一个 pig 脚本,它将生成一个配置单元表的元组。我正在尝试将结果转储到HDFS的特定分区中,该位置是 hive 存储表日期的地方。到目前为止,我正在使用的分区值是在Pigscript内部生成的时间戳记字符串值。我必须使用此时间戳字符串值来存储我的Pig脚本结果,但是我不知道该怎么做。任何帮助将不胜感激。

最佳答案

如果我理解正确,那么您可以从HIVE表的分区中读取一些数据,并想存储到另一个HIVE表分区中,对吗?
HIVI分区(从HDFS Angular 看)只是一个子文件夹,其名称的构造如下:fieldname_the_partitioning_is_based_on = value
例如,您有一个看起来像这样的日期分区:hdfs_to_your_hive_table / date = 20160607 /

因此,您所需要做的就是在store语句中指定此输出位置

使用org.apache.hive.hcatalog.pig.HCatStorer('date = $ today')将mydata存储到'$ HIVE_DB。$ TABLE'中;

关于hadoop - 如何使用动态生成的分区值将Pig脚本的输出插入到配置单元外部表中?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38235331/

37 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com