hadoop - 在 java 中使用 hiveContext 修复配置单元表

Question

我想为任何新添加/删除的分区修复配置单元表。而不是在配置单元中手动运行 msck 修复命令，有什么方法可以在 java 中实现这一点？我正在尝试从 hdfs 和配置单元中获取所有分区Metastore，然后在比较它们之后将新添加/删除的分区放入 hive metastore。但是我无法从 hivecontext 获取 api。我尝试使用 hivecontext 获取所有分区，但它抛出错误表未找到。

System.out.println(hiveContext.metadataHive().getTable("anshu","mytable").getAllPartitions());

有什么方法可以使用 java 在 hive 中添加/删除分区？

Answer 1

Spark 选项:

使用 hivecontext 你可以像下面的例子一样执行它。无需手动操作

sqlContext = HiveContext(sc)
sqlContext.sql("MSCK REPAIR TABLE your table")

Is there any way to add/remove partitions in hive using java?

普通 java 选项:

如果你想在不使用 spark 的情况下以普通的 java 方式完成它，那么使用普通的 java 代码您可以使用类 HiveMetaStoreClient直接从 HiveMetaStore 查询。

请参阅my answer here with example usage