scala - 如何根据通配符/正则表达式条件在 Spark 中连接 2 个数据帧？

Question

我有 2 个数据框 df1和df2 。假设有一个location df1 中的专栏其中可能包含常规 URL 或带有通配符的 URL，例如:

• stackoverflow.com/questions/*
• *.cnn.com
• cnn.com/*/politics

秒数据帧 df2有url字段只能包含不带通配符的有效 URL。

我需要加入这两个数据框，例如 df1.join(df2, $"location" matches $"url")如果有魔法matches连接条件中的运算符。

经过一番谷歌搜索后，我仍然没有找到实现这一目标的方法。您将如何解决这样的问题？

Answer 1

存在“神奇”匹配运算符 - 它被称为rlike

val df1 = Seq("stackoverflow.com/questions/.*$","^*.cnn.com$", "nn.com/*/politics").toDF("location")
val df2 = Seq("stackoverflow.com/questions/47272330").toDF("url")

df2.join(df1, expr("url rlike location")).show
+--------------------+--------------------+
|                 url|            location|
+--------------------+--------------------+
|stackoverflow.com...|stackoverflow.com...|
+--------------------+--------------------+

但是有一些注意事项:

• 模式必须是正确的正则表达式，锚定前导/尾随通配符。

• 它是用笛卡尔积( How can we JOIN two Spark SQL dataframes using a SQL-esque "LIKE" criterion? )执行的:

  == Physical Plan ==
  BroadcastNestedLoopJoin BuildRight, Inner, url#217 RLIKE location#211
  :- *Project [value#215 AS url#217]
  :  +- *Filter isnotnull(value#215)
  :     +- LocalTableScan [value#215]
  +- BroadcastExchange IdentityBroadcastMode
     +- *Project [value#209 AS location#211]
        +- *Filter isnotnull(value#209)
           +- LocalTableScan [value#209]
  

可以使用我在Efficient string matching in Apache Spark中描述的方法来过滤候选者。