python - Spark Data Frames - 检查列是否为整数类型

Question

我试图找出 Spark 数据框中我的列是什么数据类型，并根据该推导操作该列。

这是我到目前为止所拥有的:

import pyspark
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('MyApp').getOrCreate()
df = spark.read.csv('Path To csv File',inferSchema=True,header=True)

for x in df.columns:
    if type(x) == 'integer':
    print(x+": inside if loop")

print(x+": inside ifloop") 语句似乎永远不会被执行，但我确信有几列是整数数据类型。我在这里缺少什么？

Answer 1

您正在迭代列的名称，因此 type(x) 永远不会等于“整数”(它始终是字符串)。

您需要使用pyspark.sql.DataFrame.dtypes

for x, t in df.dtypes:
    if t=="int":
        print("{col} is integer type".format(col=x))

使用 df.printSchema() 查看架构也很有用。