arrays - 在非空 WrappedArray 上过滤数据框

Question

我的问题是我必须在一个列表中找到这些不是空的。当我使用过滤器函数不为空时，我也得到每一行。

我的程序代码如下所示:

...    
val csc = new CassandraSQLContext(sc)
val df = csc.sql("SELECT * FROM test").toDF()

val wrapped = df.select("fahrspur_liste")
wrapped.printSchema

栏目 fahrspur_liste包含包装的数组和我必须分析的这一列。当我运行代码时，我为我的包装数组和这些条目获得了这个结构:

    root
 |-- fahrspur_liste: array (nullable = true)
 |    |-- element: long (containsNull = true)

+--------------+
|fahrspur_liste|
+--------------+
|            []|
|            []|
|          [56]|
|            []|
|          [36]|
|            []|
|            []|
|          [34]|
|            []|
|            []|
|            []|
|            []|
|            []|
|            []|
|            []|
|         [103]|
|            []|
|         [136]|
|            []|
|          [77]|
+--------------+
only showing top 20 rows

现在我想过滤这些行，以便我只有条目 [56],[36],[34],[103], ...

我怎样才能编写一个过滤器函数，我只得到这些包含一个数字的行？

Answer 1

我认为您不需要在这里使用 UDF。

您可以使用 size 方法并过滤所有数组大小为 0 的行

df.filter(""" size(fahrspur_liste) != 0 """)