gpt4 book ai didi

python - 具有一些空值的数组上的 Spark Stats

转载 作者:可可西里 更新时间:2023-11-01 16:56:48 25 4
gpt4 key购买 nike

我有以下代码:

            myData3 = myData.map(lambda line: line.split(',')).map(lambda fields: ("Column", float(fields[0]))).map(lambda (column, value) : (value)).persist(StorageLevel.MEMORY_AND_DISK)

我将 if 语句放在那里是因为现在我有一些包含整列的数据集。 float(fields[0]) 映射在遇到任何 null 时会导致错误。如何编写 spark 代码以允许我获取示例数组:[1,2,3,4,,5,,19] 并处理它?

最佳答案

只需在您的 map 之前运行一个过滤器:

.map(...split...)
.filter(lambda fields: fields[0] != null)
.map(...process...)

您可以使用 accumulator如果您确实需要,还可以跟踪过滤掉的数据。

使用累加器它看起来更像(python 不是我常用的语言,所以它可能会有点偏离:

accum = sc.accumulator(0)

def filterWithAccum(fields):
accum.add(1)
return fields[0] != null

.map(...split...)
.filter(filterWithAccum)
.map(...process...)

关于python - 具有一些空值的数组上的 Spark Stats,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28838694/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com