broadcast - Spark 错误 "It appears that you are attempting to reference SparkContext from a broadcast "

Question

以下是我的类(class)中的功能:

def labeling(self, value, labelMap, dtype='string'):
        if dtype.value == 'string':
            result = [i for v,i in labelMap.value if value==v][0]
            return result
        else:
            result = [i for v,i in labelMap.value if value<v][0]
            return result

def labelByValue(self, labelMap, dtype='string'):
        labeling = self.labeling
        labelMap = self.sc.broadcast(labelMap)
        dtype = self.sc.broadcast(dtype)
        self.RDD = self.RDD.map(labeling)

但是当我在“ main ”中调用下面的函数时，它会报告如下错误:“”似乎您正在尝试从广播“”中引用 SparkContext

class.RDD.labelByValue((('a', 1), ('b', 2), ('c', 3)))

我自己找不到任何东西。
所以我来这里寻求帮助
提前致谢。

Answer 1

我终于完成了这个错误。

错误的一点是用户定义的函数应该放在全局环境中，而不是放在类中。

所以标签应该是这样的:

def labeling(value, labelMap, dtype='string'):
        if dtype.value == 'string':
            result = [i for v,i in labelMap.value if value==v][0]
            return result
        else:
            result = [i for v,i in labelMap.value if value<v][0]
            return result