python - 创建不同变量类型的 DataFrame

Question

我的原始数据如下所示:字符串后跟数字。

"cat",21,6,160,110,3.9,2.62,16.46,0,1,4,4
"dog",21,6,160,110,3.9,2.875,17.02,0,1,4,4
...

当我创建 RDD 和 DF 时，我想保留字符串并将其余部分转换为 float 。所以我的 DF 的预期输出将有 12 列。第一列为字符串，其余为 float 。

下面是我的代码:

def parse_line(line):

    s = line.split(',')
    name = s[0]
    features = s[1:]
    features = [float(x) for x in features]

    return name, f

f = sc.textFile("animals.data")
rdd = f.map(parse_line)

df = sqlContext.createDataFrame(rdd)

输出只产生了两列:

+--------------------+--------------------+
|                  _1|                  _2|
+--------------------+--------------------+
|               "cat"| [21.0, 6.0, 160.0...|
|               "dog"| [21.0, 6.0, 160.0...|
|               "rat"| [22.8, 4.0, 108.0...|
|            "monkey"| [21.4, 6.0, 258.0...|
...

Answer 1

选项 1:parse_line 函数返回一个包含两个元素的元组:一个元素是名称，一个元素是特征的列表 .因此，数据框只有两列。要解决这个问题，parse_line 应该返回一个包含 12 个元素的元组，其中所有元素都是 float 或字符串:

def parse_line(line):
    [...]
    return (name,) + tuple(features)

选项 2:您可以使用 Spark 以 CSV 格式读取数据，而无需使用 Pandas。在阅读之前定义 csv 的模式会很有帮助。这确保所有数字列都将被视为 float :

from pyspark.sql import types as T
schema = T.StructType([
  T.StructField("col1", T.StringType(), True),
  T.StructField("col2", T.FloatType(), True),
  T.StructField("col3", T.FloatType(), True),
  T.StructField("col4", T.FloatType(), True),
  T.StructField("col5", T.FloatType(), True),
  T.StructField("col6", T.FloatType(), True),
  T.StructField("col7", T.FloatType(), True),
  T.StructField("col8", T.FloatType(), True),
  T.StructField("col9", T.FloatType(), True),
  T.StructField("col10", T.FloatType(), True)])

df = spark.read.schema(schema).csv("test.csv")

对于这两个选项，结果将是一个包含 1 个字符串列和 11 个浮点列的 Spark 数据框。