pyspark - 有没有办法将超过 255 列加载到 Spark Dataframe 中？

Question

我正在尝试加载具有接近 1000 条记录的站点催化剂数据。下面显示的是我正在使用的代码:

    from pyspark.sql.types import *
    from pyspark.sql import Row
    sqlContext = SQLContext(sc)
    omni_rdd = sc.textFile('hdfs://user/temp/sitecatalyst20170101.gz')
    omni_rdd_delim = omni_rdd.map(lambda line: line.split("\t"))
    omni_df = omni_rdd_delim.map(lambda line: Row(
      col_1 =   line[0]
    , col_2 =   line[1]
    , col_3 =   line[2]
    , ..
    , ..
    , col_999 = line[998]
    )).toDF()

我遇到以下错误:

  File "<stdin>", line 2
  SyntaxError: more than 255 arguments

有什么方法可以将所有 1000 列加载到我的数据框中吗？

-V

Answer 1

你可以用这种方法来做。定义一个包含列名称的列表

cols = ['col_0' ,'col_1' ,'col_2' ,.........., 'col_999']

在创建数据帧时使用它

omni_rdd = sc.textFile('hdfs://user/temp/sitecatalyst20170101.gz')
omni_rdd_delim = omni_rdd.map(lambda line: line.split(","))
omni_df = omni_rdd_delim.toDF(cols)