linux - Apache 配置单元 : Compare data between 2 tables and generate a report

Question

我在同一个集群中有 2 个具有相似架构的表。我想比较两个表之间的数据并生成报告。只能在hql中吗？您有什么更好的建议吗？

谢谢。

Answer 1

您可以看看这个 Python 程序，它处理 Hive 表的此类比较(比较所有行和所有列)，并会在网页中向您显示可能出现的差异:https://github.com/bolcom/hive_compared_bq

它目前不会给你一个“完整的报告”，而只是指出一些发现的差异(该工具更适合开发周期，检查代码是否正确)但我想你可以扩展程序的最后一部分。