scala - Spark SQL 不支持的数据类型 TimestampType

Question

我是 spark 和 scala 的新手。正在尝试读取文本文件并将其保存为 parquet 文件。对我来说，我正在使用的字段之一是 TimeStamp，它的文档说 spark1.1.0 支持 java.util.TimeStamp。

我在保存到 parquet 文件时遇到的运行时错误是

线程“main”中的异常 java.lang.RuntimeException:在 org.apache.spark.sql.parquet.ParquetTypesConverter$$anonfun$ 的 scala.sys.package$.error(package.scala:27​​) 不支持的数据类型 TimestampType fromDataType$2.apply(ParquetTypes.scala:301)

任何建议都非常值得赞赏。

谢谢

Answer 1

这实际上是 1.3.0 之前版本的已知错误:https://issues.apache.org/jira/browse/SPARK-4987

拉取请求已被合并:https://github.com/apache/spark/pull/3820但在 1.3.0 发布之前不会可用。

如果赶时间，可以在本地搭建1.3.0的master分支，否则可能要等，不过还是有希望的，因为昨天Spark 1.3.0的RC2开始投票定稿了，所以如果候选版本一切正常，事情就会进展得非常快。

问候，