apache-spark - partitionColumn、lowerBound、upperBound、numPartitions参数是什么意思？

Question

在 Spark 中通过 JDBC 连接从 SQL Server 获取数据时，我发现我可以设置一些并行化参数，例如 partitionColumn , lowerBound , upperBound , 和 numPartitions .我经历过spark documentation但无法理解。

谁能解释一下这些参数的含义？

Answer 1

实际上上面的列表遗漏了一些东西，特别是第一个和最后一个查询。

没有它们，您会丢失一些数据( lowerBound 之前的数据和 upperBound 之后的数据)。从示例中看不清楚，因为下限为 0。

完整列表应该是:

SELECT * FROM table WHERE partitionColumn < 100

SELECT * FROM table WHERE partitionColumn BETWEEN 0 AND 100  
SELECT * FROM table WHERE partitionColumn BETWEEN 100 AND 200  

...

SELECT * FROM table WHERE partitionColumn > 9000