join - 获取 Hive 分区之间的增量更改

Question

我有一个夜间工作，在 hive 中运行和计算一些数据。它是按天划分的。

领域:
id 大整数
排名大整数

昨天
输出/dt=2013-10-31
今天
输出/dt=2013-11-01

我试图弄清楚是否有一种简单的方法可以在今天和昨天之间进行增量更改

我正在考虑做一个左外连接，但不确定它是什么样子，因为它是同一张表

这是有不同表时的样子

SELECT * FROM a LEFT OUTER JOIN b
ON (a.id=b.id AND a.dt='2013-11-01' and b.dt='2-13-10-31' ) WHERE a.rank!=B.rank

但在同一张 table 上

SELECT * FROM a LEFT OUTER JOIN a
ON (a.id=a.id AND a.dt='2013-11-01' and a.dt='2-13-10-31' ) WHERE a.rank!=a.rank

建议？

Answer 1

这会起作用

SELECT a.* 
FROM A a LEFT OUTER JOIN A b ON a.id = b.id
WHERE a.dt='2013-11-01' AND b.dt='2013-10-31' AND <your-rank-conditions>;

有效地，这将只跨越 1 个 MapReduce 作业。