python - 从 json 创建数据框时如何不推断架构？

Question

我不想在从一组 json 创建数据帧时推断架构，但我无法像从 csv 读取时那样传递 inferSchema = 'false' 。这是我读取数据的方式:

df = spark.read.json(r's3://mypath/')

Answer 1

找了一段时间，在docs中找到了我可以使用参数“primitivesAsString”

df = spark.read.json(r's3://mypath/', primitivesAsString='true')

这样我至少可以禁止对原始类型的推理。但是，对于数组和结构体，我不会避免它。尽管如此，它对我来说仍然有效。