gpt4 book ai didi

apache-spark - Spark-csv 数据源 : infer data types

转载 作者:行者123 更新时间:2023-12-04 04:12:08 24 4
gpt4 key购买 nike

我正在尝试使用 Spark-CSV 包 ( https://github.com/databricks/spark-csv ) 来阅读 csv文件到 Spark DataFrames .

一切正常,但所有列都假定为 StringType .

如 Spark SQL 文档 ( https://spark.apache.org/docs/latest/sql-programming-guide.html ) 中所示,对于 JSON 等内置源,可以自动推断具有数据类型的模式。

可以自动推断 CSV 文件中的列类型吗?

最佳答案

从 Spark 2 开始,我们可以像这样使用选项“inferSchema”:
getSparkSession().read().option("inferSchema", "true").csv("YOUR_CSV_PATH")

关于apache-spark - Spark-csv 数据源 : infer data types,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29725612/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com