hadoop - 如何通过扩展 MetaStoreEventListener 编写 Hive 钩子(Hook)来访问元数据级别的事件变化

Question

我对获取通常存储在配置单元服务器 2 中的配置单元元数据级事件很感兴趣——比如基于事件的分区添加、删除、表添加和删除等触发器。已经有一个抽象类 MetaStoreEventListener 但我无法找到相同的可靠实现来访问所有元数据相关信息。你们能给我一些正确方向的见解吗？

Answer 1

最好的方法是创建您自己的处理程序实用程序或框架，以包装 hcatalog 包中的传统 NotificationListener 类(它扩展了 MetaStoreEventListener 类)。

如果您决定单独使用 NotificationListener 类，则可以随时使用以下内置监听器:

1. 分区(Add-onAddPartition、Alter-onAlterPartition、Drop-onDropPartition)
2. 数据库(Create-onCreateDatabase、Drop-onDropDatabase)
3. 表(Create-onCreateTable、Alter-onAlterTable、Drop-onDropTable)

此外，您可以独立探索 HDFS 包处理程序。或者，在更高级的方面，编写您自己的独立框架，封装 HCatalog 和 HDFS 提供的默认事件处理程序。