performance - Spark : why is a subselect with "NOT IN" dramatically slower than "IN"?

Question

我在 Apache Spark 2.x 中有两个表。每个表都有一个公共(public)行“IDNUM”。称它们为表 A 和表 B。

这在 Apache SparkSQL 中很快:

SELECT COUNT(*) FROM A where IDNUM IN (SELECT IDNUM FROM B);

这非常慢:

SELECT COUNT(*) FROM A where IDNUM NOT IN (SELECT IDNUM FROM B);

它太慢了，以至于它完成得更快:

total = SELECT COUNT(*) FROM A;
quan  = SELECT COUNT(*) FROM A where IDNUM IN (SELECT IDNUM FROM B);
print(total-quan)

但我不明白为什么 NOT IN 应该这么慢。

Answer 1

我不知道 Apache Spark，但在我看来，数据库可以通过 IDNUM 快速访问 A 和 B 中的行/项目，因此如果数字通过条件“IDNUM IN (SELECT IDNUM FROM B)”的元素数量很少。获取整个表的计数是一种常见情况，因此会对其进行优化以提高速度。

'IDNUM NOT IN (SELECT IDNUM FROM B)'天真地需要扫描 IDNUM 列以查找 A 中的所有行，以检查它们是否不在 B 的集合中。因为您只是在进行计数，所以您不需要确实需要来自这些行的 IDNUM 值，但我猜查询优化器不够智能，无法将查询转换为两个计数之间的差异。