hadoop - Pivotal HDB - 如何将数据从 HAWQ 内部/外部可读表推送到 Greenplum

Question

我们有小型 hadoop 和 Greenplum 集群。
当前的数据管道流程是:

External table >> hadoop-hawq external readbale table >>hawq internal table.

输出:1.我们正在尝试使用 GREENPLUM 扩展数据管道。基本上是想将 HAWQ 内部表或外部可读表数据直接推送到 greenplum 中。原因是因为我们要编辑我们的文件。另外，HAWQ 不支持更新和删除。是否有任何替代方法来处理或推送数据。请指导。

2.如何使用gphdfs协议(protocol)通过GPDB外部表访问HDFS数据

提前致谢!

Answer 1

如果想将HAWQ内表的数据推送到Greenplum数据库，可以:

1) 使用可写外部表将 HAWQ 内部表中的数据卸载到 HDFS 上的文件中。这是执行卸载的示例:http://gpdb.docs.pivotal.io/4380/admin_guide/load/topics/g-unloading-data-using-a-writable-external-table.html

2) 然后使用gphdfs、gpfdist等协议(protocol)的可读外部表将HDFS文件中的数据加载到Greenplum数据库。可以引用http://gpdb.docs.pivotal.io/4320/admin_guide/load.html了解详情。

如果想将HAWQ中的可读外部表中的数据推送到Greenplum数据库，可以像在HAWQ中一样直接使用Greenplum数据库中的可读外部表。

对于 gphdfs，这里有一些有用的例子: http://gpdb.docs.pivotal.io/4380/admin_guide/load/topics/g-example-1-greenplum-file-server-gpfdist.html