python - spark dataframe 是否像 pandas 一样每行都有一个 "row name"？

Question

我正在尝试使用 Spark DataFrames 对按行名称索引的两个 DataFrame 进行操作。在 Pandas 中，我们可以做到

df.loc(['aIndex', 'anotherIndex'])

通过索引(或行名)在 df 中选择两行。如何在 Spark DataFrame 中实现这一点？谢谢。

Answer 1

不，Spark 中没有行索引。 Spark Data Frames 更像是关系数据库中的表，所以如果你想访问特定的行，你必须过滤:

df = sqlContext.createDataFrame(
    [("Bob", 5), ("Alice", 6), ("Chuck", 4)], ("name", "age"))

df.where("name in ('Bob', 'Alice')")
df.where((df.name == "Bob") | (df.name == "Alice"))