python - 如何从 spark 数据框中提取 csv 名称

Question

我们的设置是 PySpark。假设我使用 spark.read.csv 函数创建了一个数据框 df，即

df = spark.read.csv("directory/name_file.csv")

现在我需要一种无需手动复制和粘贴即可提取“name_file”的方法。换句话说，我想要一个只包含字符串“name_file”的 Spark 列表或数据框。

请仅提供涉及与 PySpark 兼容的 PySpark SQL 或 Python 代码的解决方案。

这个问题看起来很简单，但是我花了很多时间寻找解决方案却一无所获。

Answer 1

有一个函数: input_file_name然后，您拆分。

from pyspark.sql import functions as F

df = df.withColumn("path", F.input_file_name())
df = df.withColumn("path_splitted", F.split("path","/"))
df = df.withColumn("name", F.col("path_splitted").getItem(F.size("path_splitted")-1))

df.show()
+---+--------------+--------+----------------+
| id|          path|    name|   path_splitted|
+---+--------------+--------+----------------+
|  1|/foo/bar.csv  |bar.csv |[, foo, bar.csv]|
+---+--------------+--------+----------------+

---

编辑:使用 spark 2.4，您可以使用 reverse 轻松获取最后一个元素

F.reverse("path_splitted").getItem(0)