hadoop - Informatica BDE Hive 动态分区

Question

Informatica 是否有办法在进行 Hive 映射后处理 Hive 分区？

例如，假设数据来自数据库，informatica BDE 将文件写入 HDFS 目录。配置单元外部表位于该 HDFS 目录之上，现在需要添加该分区。 (例如 hive -e “ALTER TABLE cr.employee ADD PARTITION (par_date='20150824') location '/data/cr/employee/20150824'”)。

这可以在 informatica bde 本地完成，还是我们需要安排一个单独的作业(例如 shell 脚本)来完成。

谢谢，

Answer 1

您可以通过以下两种方式做到这一点

1) 创建一个外部分区表并将数据加载到 HIVE 表而不是 HDFS 文件中，并确保在 HIVE 连接属性的环境 sql 中设置以下属性

SET hive.exec.dynamic.partition = true;SET hive.exec.dynamic.partition.mode = nonstrict;

2) 如果你想将它加载到 HDFS 文件中，那么你需要添加一个命令任务，它将调用你 hcat 来更改/创建分区