scala - 在 spark 数据框中使用 where 子句加载数据

Question

我有一个包含 n 条记录的 oracle 表，现在我想使用 where/filter 条件从该表加载数据以激发数据帧。我不想将完整数据加载到数据框，然后对其应用过滤器。 spark.read.format("jdbc")...等或任何其他解决方案中是否有任何选项？

Answer 1

检查下面的代码。您可以在查询变量中编写自己的查询。要并行处理或加载数据，您可以检查 partitionColumn、lowerBound 和 upperBound 列。

val query = """
  (select columnA,columnB from table_name
    where <where conditions>) table
"""  
val options = Map(
    "url"              -> "<url>".
    "driver"           -> "<driver class>".
    "user"             -> "<user>".
    "password"         -> "<password>".
    "dbtable"          -> query,
    "partitionColumn"  -> "",
    "lowerBound"       -> "<lower bound values>", 
    "upperBound"       -> "<upper bound values>"
)

val df = spark
        .read
        .format("jdbc")
        .options(options)
        .load()