mysql - 在不知道上限的情况下使用spark并行读取sql数据库

Question

Spark 允许您从 sql 数据库源并行读取，并且可以基于滑动窗口进行分区，例如(来自 book，第 7 章)

 val colName = "count"
 val lowerBound = 0L
 val upperBound = 348113L // this is the max count in our table
 val numPartitions = 10

 spark.read.jdbc(url,
                tablename,
                colName,
                lowerBound,
                upperBound,
                numPartitions,
                props).count()

这里，上限是预先知道的。

比方说，一个表在一天内获得“x”行(可能在 1-2 百万之间)，在一天结束时我们提交一个 spark 作业，进行一些转换并写入 Parquet/CSV/JSON。如果我们事先不知道将向 SQL 源数据库写入多少行(从 1 到 2 百万不等)，那么在这种情况下，进行分区的最佳方法或做法是什么。

一种方法是估计您的上限，但我不确定这是正确的方法。

Answer 1

我遇到了完全相同的问题。我还需要一个随机分布。所以我选择一个 int 列并在其上获取 mod 10。这样我就可以不关心地划分任何东西边界或分布。

options += ("numPartitions" -> numPartitions,"partitionColumn"->"mod(my_int_column,10)","lowerBound"->"0","upperBound"->"9")