python - 分析异常 : u"cannot resolve 'name' given input columns: [ list] in sqlContext in spark

Question

我尝试了一个简单的例子:

data = sqlContext.read.format("csv").option("header", "true").option("inferSchema", "true").load("/databricks-datasets/samples/population-vs-price/data_geo.csv")

data.cache() # Cache data for faster reuse
data = data.dropna() # drop rows with missing values
data = data.select("2014 Population estimate", "2015 median sales price").map(lambda r: LabeledPoint(r[1], [r[0]])).toDF()

效果很好，但是当我尝试类似的东西时:

data = sqlContext.read.format("csv").option("header", "true").option("inferSchema", "true").load('/mnt/%s/OnlineNewsTrainingAndValidation.csv' % MOUNT_NAME)

data.cache() # Cache data for faster reuse
data = data.dropna() # drop rows with missing values
data = data.select("timedelta", "shares").map(lambda r: LabeledPoint(r[1], [r[0]])).toDF()
display(data)

它引发错误:AnalysisException:您“无法解析给定输入列的‘timedelta’:[data_channel_is_tech，...

我导入了 LabeledPoint 和 LinearRegression

有什么问题吗？

即使是更简单的情况

df_cleaned = df_cleaned.select("shares")

引发相同的 AnalysisException(错误)。

*请注意:df_cleaned.printSchema() 运行良好。

Answer 1

我发现了问题:一些列名在名称本身之前包含空格。所以

data = data.select(" timedelta", " shares").map(lambda r: LabeledPoint(r[1], [r[0]])).toDF()

成功了。我可以使用

捕捉空白

assert " " not in ''.join(df.columns)  

现在我在想办法去掉空格。非常感谢任何想法!