apache-spark - 如何在 PySpark SQL/Dataframes 中的 RLIKE 中使用单词边界

Question

我尝试在我的 Spark SQL/Dataframe 查询中使用 RLIKE 中的单词边界，但它似乎不起作用。

from pyspark.sql.functions import * 

usersDf.select('id', 'display_name', 'location') \
    .where(expr('location RLIKE "\\b(United States|America|USA|US)\\b"')) \
    .limit(20) \
    .show(20, False)

怎么了？我也试过 \b ...

Answer 1

你逃得还不够。

df = spark.createDataFrame([" US ", "FUSS"], "string")
df.where("value RLIKE '\\\\bUS\\\\b'").show()

# +-----+
# |value|
# +-----+
# |  US |
# +-----+

df.where("value NOT RLIKE '\\\\bUS\\\\b'").show()
# +-----+
# |value|
# +-----+
# | FUSS|
# +-----+

应该是这样

'location RLIKE "\\\\b(United States|America|USA|US)\\\\b"'

如果您检查执行计划，就会看到这一点。你的

df.where("value NOT RLIKE '\\bUS\\b'").explain()
# == Physical Plan ==
# *(1) Filter (isnotnull(value#33) && NOT value#33 RLIKEU)
# +- Scan ExistingRDD[value#33]

与正确的相比:

df.where("value NOT RLIKE '\\\\bUS\\\\b'").explain()
# == Physical Plan ==
# *(1) Filter (isnotnull(value#33) && NOT value#33 RLIKE \bUS\b)
# +- Scan ExistingRDD[value#33]