jupyter - Spark.read.format ('libsvm' )不适用于 python

Question

我正在学习 PYSPARK 并遇到了无法解决的问题。我按照此视频从 PYSPARK 文档复制代码以加载线性回归数据。我从文档中获得的代码是spark.read.format('libsvm').load('file.txt')。顺便说一句，我在此之前创建了一个 Spark 数据框。当我在 Jupyter 笔记本中运行此代码时，它不断给我一些 java 错误，而该视频中的人做了与我完全相同的事情，但他没有收到此错误。有人可以帮我解决这个问题吗？
非常感谢!

Answer 1

我想我通过在选项方法中设置“numFeatures”解决了这个问题:

 training = spark.read.format('libsvm').option("numFeatures","10").load('sample_linear_regression_data.txt', header=True)