python - pyspark 抛出 TypeError : textFile() missing 1 required positional argument: 'name'

Question

我搜索了这个问题，但没有与 spark-2.2.0-bin-hadoop2.7 相关的直接答案。我正在尝试从本地目录读取一个文本文件，但我总是收到 TypeError 提示缺少 name 参数。这是带有 Python3 的 jupyter notebook 中的代码:

from pyspark import SparkContext as sc
data = sc.textFile("/home/bigdata/test.txt")

当我运行该单元格时，出现此错误:

TypeError                                 Traceback (most recent call last)
  <ipython-input-7-2a326e5b8f8c> in <module>()
  1 from pyspark import SparkContext as sc
  ----> 2 data = sc.textFile("/home/bigdata/test.txt")
  TypeError: textFile() missing 1 required positional argument: 'name'

感谢您的帮助。

Answer 1

您正在调用 textFile() instance method

def textFile(self, name, minPartitions=None, use_unicode=True):

就像它是一个静态方法，它导致 "/home/bigdata/test.txt" 字符串被用于 self 值，留下 name 未指定参数，因此出现错误。

创建 SparkContext 类的实例:

from pyspark import SparkConf
from pyspark.context import SparkContext

sc = SparkContext.getOrCreate(SparkConf().setMaster("local[*]"))
data = sc.textFile("/home/bigdata/test.txt")