hadoop - 当旧分区上有读取锁定时，Hive不会在新分区上获得写入锁定

Question

我们有按日期划分的数据。我们的管道每天都会在表中添加新分区。我们也有一些用例，其中人们通过对分区进行过滤来运行长时间读取的查询。

我们已经看到了以下行为:如果在旧分区上运行某些读取查询(具有SHARED锁定)，那么我们将无法获取新分区的锁定(EXCLUSIVE)。

有没有办法使HIVE认识到，较早的查询将不会读取新分区，并获得该分区的EXLUSIVE锁以增加并行度。

Answer 1

根据the documentation在分区上具有共享锁的说法，这不会阻止您在同一分区上获得排他锁。

从理论上讲，您的问题将显得无效，但是在实践中，我可以想到以下两件事:

对于配置单元来说，很难看到您正在使用哪个分区(复杂/间接where语句？)

该文档不准确，或者被我误解了

我建议您检查第1点，否则添加一个最小的可重现示例。